鲁南战役第一阶段胜利结束后，中共中央军委对下一阶段的作战方针做出明确指示。1月5日毛泽东致电陈毅、粟裕，并告刘伯承、邓小平：
第一、彻底歼灭26师甚好甚慰，全军将士传令嘉奖。
第二、第二步任务歼灭冯部2师4旅，估计可能用追击战方式解决一部，但要全部解决并收复峄、台、邳堡垒线，或需一周以上时间才能完成任务。
第三、上述任务完成后，鲁南全军应在峄、台、邳线附近地区休整两三星期，补充新兵，恢复疲劳，准备再战。
第四、此时薛岳必从苏中、苏北抽调10个旅左右及从他处调动几个旅（例如64师、14师等），估计共可有15个旅左右布防陇海线并企图恢复台、峄线，其时间约需三星期。
第五、在歼灭冯部，占领台、峄，并休整部队后，你们任务就是歼灭陇海线上或其南北地区新来之敌，在这一线打仗可以展开大军，打更大的歼灭战。那时你们应当集中40个团左右兵力并有充分准备，以期一次歼敌五六个旅。
第六、因此你们在占领峄、台、邳后不要轻动，不要去打海州，也不要去打74师、11师，而要休整部队，巩固胜利，并吸引74师、11师（可能还有4师、44师等部）北上到你们面前适当地区，然后歼灭之最为有利。
第七、只有吸引敌人北上再打三四个宿东、鲁南这样的大歼灭战，苏中、苏北失地才能收复。不要在未歼灭敌人主力之前过早企图收复失地，收复峄、台线之目的在于创造战场。
第八、在歼灭冯部占领峄、台后，为着创造战场之目的，可考虑歼灭51师，占领枣庄，前锋可过运河控制陇海线。9纵全部应去淮北睢、宿、灵、泗地区恢复工作。皮旅应去盐阜地区，坚持工作。2师、2纵、7师（共20个团）亦应休整补充，准备参加新的大会战。沭阳暂时的得失，无足轻重。总之一切以打大歼灭战为目标，望按此方针部署工作。
根据毛泽东的指示，为实现鲁南战役第二步歼灭冯治安部的任务，陈毅、粟裕于3日晚即下达追击冯部的预先号令：右纵队全部进袭峄县；第1纵队南下四户、岔河镇、邳县，截击整编第59师；华中野战军第1师即沿兰陵、台儿庄公路两侧进逼台儿庄，并抢占台儿庄以西的万年闸，截断整编第77师退路；各部应于4日全歼整编第26师后于当晚立即行动。
但当时各部队对连续作战，乘胜扩大战果的认识较差，且各部均有大批俘虏及战利品拖累，迟迟不动。虽经严厉督促，到5日晚才开始出动，战机已失。冯治安部已于5日迅速撤回运河以西原防固守，未能截断冯部退路。台儿庄工事坚固，不易攻歼，且整编第11师于6日从宿迁全部西调，有北援可能。因此不得不放弃歼灭冯部的计划。
陈毅、粟裕根据当前实际情况及中共中央军委在鲁南创造战场，打大歼灭战的方针，配合刘伯承、邓小平大军南出陇海，威逼徐州的形势，乃决定转移主力，攻取峄县、枣庄，全歼国民党整编第51师，开辟鲁南战场，具体部署如下：
以第4、第9、第8师和警备旅攻歼峄县之敌；以华中野战军第1师攻歼枣庄之敌；第1纵队附第13旅控制峄县南文青山、望仙山、白山一带阵地，准备打台儿庄、韩庄北援之敌；第10师控制临枣线阻敌东援。
为确保峄县、枣庄战斗胜利，调第2纵队、华中野战军第6师移到陇海路以北郯城、码头，并西进到兰台路以东、沂河以西地区，隐蔽集结待机，侧击台儿庄敌之北援；第7师则自沭阳沿路阻击南线敌之北进至新安镇。为指挥方便，由粟裕带华中野战军电台组成临时指挥所，亲临峄枣前线指挥；陈毅带山东野战军电台留兰陵附近，处理战利品及部队整编事宜。