歼敌整编第5军设想提出，中央军委指示下达后，华野1兵团上下群情振奋，大家摩拳擦掌，都想尽快投入战斗。此时，敌我双方的兵力分布状况是：
敌人在中原战场上除保安部队外，有正规军25个整编师（57个旅）。其中13个整编师（30个旅），担任重要点线的守备；另外12个整编师（27个旅）和4个快速纵队编成4个兵团，执行机动作战任务。其意图是控制陇海路东段、津浦路和平汉中南段的交通线，以郑州、信阳、蚌埠、开封、商丘和徐州等城市为据点，乘我华野部队整训分离之际，集中一切可以使用的机动兵力，寻我主力兵团决战，同时监视和堵击我在濮阳地区进行整训的华野第1兵团渡河南下。
我军方面，中原野战军主力及华东野战军第10纵队，在取得宛（南阳）西战役胜利后，正向南阳、确山之间转移；华东野战军第3和第8纵队在完成宛西阻击战之后，于5月10日由象河关、春水地区北上，14日袭占许昌，全歼敌独立第21旅，而后即在许昌、襄城地区转入休整；华东野战军第1、第4和第6纵队以及另外两个纵队和特种兵纵队，在濮阳地区进行新式整军运动后，根据打整编第5军的作战要求开展军事训练。中原野战军第9纵队位于郑州西南地区；中原野战军第11纵队位于豫皖苏地区。
5月23日，粟裕作出了在鲁西南求歼整编第5军的作战部署。“即先以第3和第8纵队由许昌地区向淮阳方向转移，吸引邱清泉兵团南下；然后以第1、第4、第6纵队和两广纵队、特种兵纵队乘机由张秋镇、范县（今旧范县）之间南渡黄河，进抵定陶、成武地区，力求歼灭鲁西南守敌一部，开辟战场，吸引邱兵团回转北上。在邱兵团向北转移时，立即以第3纵队、第8纵队和中野第11纵队尾敌北进，协同我南渡黄河的各纵队夹击该敌于鲁西南地区。”（《粟裕战争回忆录》第545页）
为此，华东野战军前委颁发了“为歼灭敌第5军给全体指战员的一封信”。信中指出：蒋介石以第5军为骨干，带着一批小喽，拼命来骚扰中原，企图把中原搞烂，再进而破坏华北解放区的建设。我们要解放中原4000万人民也好，巩固中原也好，建设华北也好，南下过江也好，加速蒋介石的死亡也好，都非歼灭第5军不可。为保证胜利，号召全体指战员做到：坚决服从命令听指挥，争取时间收集敌情，展开广泛的研究；在野战中要发扬“三猛”精神，把勇敢与技术结合起来；全军上下紧密团结起来，协同动作；发扬艰苦奋斗的优良传统，不怕跑路，不怕饿肚；严格维护政策，执行纪律，一切缴获要归公。歼灭第5军，为人民立个头等大功！