回师鲁南的方案定了下来，但怎样选择打击目标呢？先打弱敌，后打强敌，这是人民解放军作战常用的原则。这时，国民党军分布的态势为：南线的两大主力11师在宿迁，74师在陈师庵，隔运河、六塘河与华野6师、9纵、山野2纵、7师对峙。国民党7军在泗阳、28师在涟水作2线部队。西线是马励武的26师附第1快速纵队突前到峄县以东，准备进攻临沂。周毓英的51师在枣庄，冯治安的77、59师在台儿庄。因宿北之战刚结束，各部都暂时停止行动，未敢轻进。
从上述敌军兵力部署来看，鲁南弱敌为冯治安部之整编59师，但若先打冯治安部，一时解决不了鲁南问题，扭转不了战场的形势。整编第28师和第1快速纵队为敌鲁南主力，如该敌被歼，则全局可望好转。
为此，野战军首长进一步对鲁南战区的地形、民情及敌我双方兵力兵器对比和战斗力等情况，进行了全面的分析研究，一致认为，敌整编第26师和第1快速纵队虽是强敌，但它所处态势不利，孤军突出，且与冯治安部有矛盾，在它受攻击时，冯部有很大可能不会支援或不全力支援，特别是在战役开始阶段，我可集中27个团的兵力，打敌第26师和第1快纵6个团，兵力四倍半于敌，以绝对优势，可以实现战役上以多胜少。
野战军首长决定反常用兵，放着弱敌冯治安部不打，反而首先歼灭强敌整编第26师和第1快速纵队。故于1946年12月23日定下了回师鲁南歼敌的决心，随即令叶飞的第1纵队、第1师、第8师秘密兼程北上，会同已由鲁中到达鲁南之第9师及第4师1个团，和原在鲁南作战之第10师、滨海警备旅等部，准备首先歼灭敌整编第26师及第1快速纵队，而后直下峄县、台儿庄，歼灭冯治安整编第33军一部或全部，决定以第2、第9纵队和第6、第7师及第13旅，由谭震林同志指挥，在沐阳东西地区组织防御，迟滞敌人的北犯行动，并相机歼敌一部。
当野战军将此决心上报后，立即得到中央军委和毛泽东的批准，同时强调指出：“鲁南战役关系全局，此战胜利，即使苏北各城全失，亦有办法恢复”，希望“打一个比宿北更大的歼灭战”。而后，野战军及时下达了政治工作指示和战役动员口号，对部队进行了深入的政