泗城失利，淮阴失守。面对险恶的战争形势，陈毅心急如焚。
9月11日，中央命令刚取得苏中战役大胜的华中野战军司令员粟裕，率主力火速从苏中开赴淮阴增援。从苏中淮安到淮阴约250公里，一路水网，既少陆路，又少船只，且雨水不停，阻敌不断，一时难以到达。
陈毅率山野部队抵抗敌人，激战至19日拂晓，敌张灵甫之74师突破淮阴城门。陈毅遂下令部队撤出淮阴。
9月下旬，陈毅与粟裕在涟水县西北陈师庵会合。
陈毅、粟裕原都是主张放弃两淮、不与敌人拼消耗的。
陈毅说：“两淮丢了，并非坏事。”陈毅在马背上凑成了几句诗：“诱敌何妨让两淮，蒋军到此好堆埋。运河不是鸿沟界，会见狂潮卷地来。”陈毅又解释说：“我们把包袱丢给敌人背，敌人占了城市，必须分兵把守。占领的城市越多，敌兵力就越分散。”
粟裕很赞成陈毅的意见，说：“对，这样敌人用于前线作战的部队就会逐渐减少，正有利于我们一口一口地把他们吃掉！”
9月25日，新华社华中前线电讯稿上发表了粟裕在新四军主动撤离淮阴、淮安后的一次谈话。粟裕指出：“我军的撤出两淮，绝不是我们军事上的失败，而是对蒋军大规模歼灭战的开始……侵入淮阴、淮安的蒋军，终必被歼灭在这些土地上的。”
当然，敌人至死也不会这样考虑问题。攻占两淮后，张灵甫得意忘形，大张旗鼓地庆贺“大捷”。蒋介石和他的参谋总长陈诚等人也大造舆论，通电对张灵甫“备极嘉奖”，吹嘘“苏北战事已近尾声”，等等。
这时，粟裕又向中央军委提出了“华野、山野合并”的建议。粟裕分析道：为了改变华中局势，应集中华中、山东两个野战军攻下宿迁，进行宿北战役，得手后再向西扩张战果。这样，使两大野战军合并，更有利于指挥作战。
毛泽东收到粟裕的电报，非常高兴，对朱德说：“粟裕这个同志主意多嘛，你看他又给我们出点子了。”
毛泽东为什么这么说呢？原来，在苏中战役之前，粟裕几次提出张鼎丞为华中军区正副司令员，他提出“阅悉中央以职及张鼎丞同志分任正副司令之指示，不胜惶恐。以职之能力，实不能负其重任。鼎丞同志不论在才德资格方面，均较职为高超。抗战以前，均为长辈；抗战初期，则职之上级；近数年，又复在中央直接领导下，成绩卓著；且对执行与掌握党的政策，均远非职所能及。为此，曾再三请求华中局，以鼎丞同志为司令，职副之，未蒙允许。为慎重并更有利工作起见，特再请求中央以鼎丞为司令，职当尽力协助，以完成中央给予之光荣任务”。了与中共中央军委看法不同的意见：中共中央和新四军军部任命他和中共中央提出对部队进行调整和改编，新四军部分主力北上山东，江南主力回到华中，华中部队应以老部队与新部队混编，成立新编制。这时粟裕以个人名义又给中央发了一封电报，建议不要过分打乱各师建制。电报说：
“此次华中北调部队除3纵保持整个建制外，其他各主力师均系分别抽调。似此不同建制之部队，今后须有较长时期方可打通思想，但对目前战斗协同配合不利（特别是华中分局领导下之部队），可能产生重大影响。此点虽曾向华中局及分局建议，未蒙采纳，对此问题尚不能完全理解。因职为各师地区既留有地方兵团，虽将当地主力师调走，对坚持似无大影响。因此，职意应尽可能不过分破坏建制，较为有利。职敢冒本位、宗派主义之嫌，特电告中央，尚盼指示。”（军委一局编：《华中局往来电报》1945年8月至1946年5月）
与前面几次不同的是，这一次是粟裕主动提出的建议。
10月15日，中央军委给陈毅等人发去电报，同意山东野战军和华中野战军合并，并对两大野战军合并后的人事安排作了明确指示：“山野、华野两军集中行动，两个指挥部也应合一，提议陈毅为司令员兼政治委员，粟裕为副司令，谭震林为副政治委员。”
陈毅和粟裕长期共事，关系融洽，这是人所共知的。当时部队中流传着一句话，叫做：“陈不离粟，粟不离陈。”充分说明了两人的密切关系。
当陈毅听了这句话后，笑着说：“好嘛，当年在中央苏区，朱不离毛，毛不离朱，红军无往而不胜。今天我们也可以学学毛主席和朱老总的样子嘛！”