1948年9月24日，我华东野战军攻克华东重镇济南，活捉了国民党第二绥靖区司令官、山东省党政军统一指挥部主任王耀武，山东省基本上全部解放。到这时，任何人都会明白，华野兵锋所指，必然就是紧接着山东边界的徐州。但是，这时的徐州是国民党中原战场上屯兵最多的军事枢纽，不是随便就可以打的。所以，这一战不是打不打的问题，而是什么时候打和如何打的问题。
就在9月24日这一天的早上，当我华野已经突入济南城的东南角和西南角，向济南城中做纵深发展进行巷战的时候，华野代司令员兼政委粟裕向中央军委发出了一封电报，电报同时也报华东局和中原局，“建议立即进行淮海战役”，因为，如果“全军即进入休整，如此对部队有好处，但易失去适宜作战的秋凉气候和济南失守后加于敌人之精神压力”。为此他向中央提出了三个方案：
（一）举行淮海战役，就是乘徐州南边地区的淮安、淮阴一带敌人力量空虚，由华野的苏北兵团（即第四兵团）攻占淮安、淮阴、高邮、宝应等运河沿线城市。华野其他部队此时须在宿迁一线布防，严防徐州之敌向南援助。等到运河沿线城市解放之后，再向东进攻，解放海边的海州和连云港。此战结束之后，徐州的南边和东边地区就基本上被我控制，而北边和西边早已是我军控制地区，徐州就处于我军的四面包围之中。这时我军再作休整，准备下阶段更大的战斗。
（二）只打海州、连云港地区，解决徐州东面的敌人之后，部队即进行休整。这样打可以使部队较早得到休整，但对今后攻打两淮不利，因为敌人可能向两淮增兵。
（三）只歼灭敌人从徐州向济南方向增援之敌，但如果敌人不来增援，就无法消灭敌人。在上述三个方案中，粟裕自己认为以第一方案为最佳。
这时，粟裕虽然只是在计划华野在济南战役之后如何打的问题，实际上已经进入了如何对付徐州刘峙集团的问题，提出了打“淮海战役”，即如何解决淮河流域到海边这一片军事要地上的国民党军队的问题。
粟裕把他的这份电报同时也发给了中原野战军的刘伯承和陈毅。9月25日，也就是粟裕发出电报的第二天，刘伯承和陈毅给中央军委的电报中明确表示，“济南攻克后，我们同意乘胜进行淮海战役，以第一方案攻两淮，并吸引打援敌为最好”，支持粟裕的第一方案。
就这样，日后名震全国的“淮海战役”这四个大字放到了毛泽东的面前。
毛泽东在西柏坡认真考虑了粟裕的方案。在毛泽东的心中，当然想到了华野拿下山东全省之后下一步如何打的问题，他当然也认为淮海战役是必然要打的，是顺理成章之事。所以，毛泽东在9月25日这天立即回电粟裕和当时的华东局书记饶漱石：
我们认为举行淮海战役甚为必要。目前不需要大休整，待淮海战役后再进行一次休整。淮海战役可于10月10日左右开始行动。你们应利用目前半月时间，使攻济部队获得短时休息，然后留一个纵队位于鲁西南，起牵制作用，吴化文亦应移至鲁西南（按：这是指在济南战役中起义的吴化文部），其余全部南下，准备进行几个作战：（一）估计不久邱清泉兵团将退回商丘、砀山地区，黄百韬兵团将回至新安镇、运河车站地区，你们第一个作战，应以歼灭黄兵团于新安、运河之线为目标；（二）歼灭两淮、高宝地区之敌，为第二个作战；（三）歼灭海州、连云港、灌云地区之敌，为第三个作战。进行这三个作战是一个大战役。打得好，你们可以歼敌十几个旅，可以打通山东与苏北的联系，可以迫使敌人分散一部兵力去保卫长江，而利于你们下一步进行徐州、浦口线上之作战。因此，你们应在10月10日以前做好有关这一战役的充分的准备工作，要开一次像上月曲阜会议那样的干部会，统一作战意志，调整内部关系。
从上述电报可以明显地看出，对于这一仗应当怎么打，当毛泽东刚刚接到粟裕的电报时，他的决定是先打黄百韬兵团。这是因为，在徐州地区的敌军之中，3个绥靖区的部队不是机动兵团，也不是蒋军主力，可以先放在一边，以后顺便来解决。在4个机动兵团中，黄百韬兵团距徐州最远，其东边就是大海，对我军的攻击行动很有利。另外，黄百韬兵团在蒋军中不算嫡系，如果被我围攻，其他几个兵团不大可能进行拼死相救。根据这种考虑，作为一个卓越的军事家，毛泽东很快就作出了先打黄百韬的决定，所以他在上述电报中明确告诉粟裕“你们第一个作战，应以歼灭黄兵团于新安、运河之线为目标”。
毛泽东在这封电报中的几个估计都完全正确，就在3天之后，黄百韬兵团的确就到了新安镇地区，邱清泉兵团也的确就到了商丘地区。这就是说，无论是粟裕，还是毛泽东，这个时期在心中所考虑的“淮海战役”，并不是后来实际进行的淮海战役，我们可以姑且称之为“小淮海战役”，其目标是夺取两淮（淮安、淮阴）和海州（这也就是当时称之为“淮海战役”的原因），占领徐州的东边和南边的部分地区，打通山东和苏北解放区之间的联系，威胁长江北岸，为下一步在徐州、浦口一线作战创造有利条件。所以，9月28日，毛泽东在给粟裕的电报中指出：
黄兵团调回新安镇地区业已证实。你们淮海战役第一个作战，并且是最主要的作战，是钳制邱、李两兵团，歼灭黄兵团。新安镇地区距离徐州甚近，邱、李两兵团赴援甚快。
从这封电报中完全可以看出，这里所考虑的淮海战役，其规模是“比睢杞战役也可能要大”，“最主要的作战”只是“歼灭黄兵团”，这不是后来决战淮海的那一场淮海战役。不过，首先要消灭黄百韬兵团，这一点却一直是没有过任何变化的。
这个时候中原地区的国民党军队为了准备对付我华东野战军的进攻，已经组成了一个以徐州为中心的纵深防御体系，其部队的编制与年初已经有所不同。徐州“剿总”所指挥的有4个机动兵团、3个绥靖区的部队，这些部队在1948年9月的分布是：黄百韬的第七兵团有4个军，分布在徐州以东陇海线上的新安镇地区。李弥第十三兵团有两个军，在徐州以东陇海线的曹八集地区，距徐州较第七兵团更近。邱清泉的第二兵团有三个半军（第十二军只有两个师），在徐州以西陇海线上的黄口、砀山地区。孙元良的第十六兵团有3个军，距徐州稍远一点，在徐州西南的蒙城地区。作为徐州“剿总”直属的还有第七十二、第一零七、第一一五3个军。李延年的第九绥靖区有第四十四军，驻在东海边上的海州。冯治安的第三绥靖区有第五十九和七十七两个军，驻在徐州东北的韩庄、台儿庄地区。刘汝明的第四绥靖区有第五十五、第六十八两个军，驻在徐州西边陇海线上的商丘地区。除了上述部队之外，原来属于武汉“剿总”的黄维第十二兵团的4个军已经向平汉线移动，用于牵制我中原野战军，支援徐州。以上共有24个军约70万人，加上部分其他军事力量，总兵力超过80万人。在济南失守之后，蒋介石知道徐州即将成为我华东野战军的主攻目标，他必须“坚固两淮、徐蚌”，遂命令刘峙将太靠北的菏泽、定陶一带的军队全部南撤，用于以徐州地区为中心的“攻势防御”。
这时，我军能用于徐州战场的部队是华野的16个纵队、中野的7个纵队，有兵力51万人。华东军区和中原军区的地方部队有21万人，共约72万人。虽然华野的兵力要少于刘峙集团，但是如果把华野和中野这两支大军联合起来使用，就将是另一个局面。正如当时担任中野参谋长的李达后来在回忆录中所说：“从打郑州开始，淮海战役即成为华野、中野两支大军共同执行的任务了。正如邓政委引用毛泽东主席说过的一句话：两个野战军联合在一起就不是增加一倍力量，而是增加了好几倍的力量。”
毛泽东已开始制定一场空前规模的大战蓝图。这场大战，双方将投入150万以上的兵力在中原逐鹿。下面是毛泽东将“小淮海战役”逐步发展为淮海决战的“大淮海战役”的简明时间表：
10月11日，毛泽东给华东局和华野、中原局和中野的电报（也是后来收在《毛泽东选集》中的《关于淮海战役的作战方针》一文）中指出：
本战役第一阶段的重心，是集中兵力歼灭黄百韬兵团，完成中间突破……为达到这一目的，应以两个纵队担任歼灭敌一个师的办法，共以六个至七个纵队，分割歼灭敌二十五师、六十三师、六十四师。以五个至六个纵队，担任阻援和打援。……以上部署，即是说要用一半以上兵力，牵制、阻击和歼敌一部。
在这里，毛泽东特别强调了把歼灭敌人的有生力量放在最重要的位置，强调要以绝对多数去有把握地将敌人各部分别予以全歼，不打破袭战，不打击溃战，更不把争城夺地放在心上。在这里还有一点很值得注意，就是强调打援的重要性。除了上述指示以外，在关于第二阶段和第三阶段作战的指示中，也再次强调要以“主力担任打援和钳制”。为什么要强调这一点呢？叶剑英在《伟大的战略决战》中是这样讲的：
敌人重兵密集，便于机动，增援迅速。若要攻歼其任何一部，必须首先拦住敌人的援兵，才能赢得时间，保持主动。这是华东战场与其他战场截然不同的特点，也是影响战役胜败的关键。
以后战事的发展，完全证实了毛泽东的预料，淮海战役中的主要战斗并不是围歼，而是截击与阻援。
毛泽东还考虑到一个重要问题。在上述的电报中，他考虑到徐州以西的“孙元良三个师（按：在当时的一些电稿和包括《毛泽东选集》在内的若干文献中所提到的‘师’，是一种习惯的称谓，是指国民党军队原来在整编时把军改称为师、师改称为旅之后的‘师’，也就是一般称的整编师。其实在淮海战役开始之前，国民党军队已将整编师恢复为军的番号，称之为军，同时也把旅恢复称师。所以我们在叙述中对这时的国民党军队都称为军和师，而不称为师和旅。这一称谓的变化有必要提请读者注意，否则就会在若干地方产生误会。例如这时孙元良兵团东进的不是三个师，而是所属的全部三个军。郑州的防务交给了国民党十二绥靖区的四十军负责）现将东进”，故而命令中原野战军的“刘伯承、陈毅、邓小平即速部署攻击郑徐线，牵制孙兵团”。很明显，这已把中原野战军列入了淮海战役的作战序列，是要两大野战军共同作战。
值得注意的是，毛泽东原来给粟裕布置的开打时间很清楚，是“10月10号左右开始行动”。可是，毛泽东现在不再按这个时间去要求了，他这时完全没有命令粟裕展开进攻。他的计划变了，他给前线指挥员重新安排了时间表：“你们以11、12两个月完成淮海战役，明年1月休整。”毛泽东将整个战役的开始时间向后推移了一个多月，因为他要两个野战军联合起来打更大的淮海战役。于是，在这种新的部署之下，中野分兵两部，刘伯承坐镇豫西，指挥中野二纵、六纵在江汉、桐柏地区分散歼敌，有意向敌人表明刘伯承还在豫西，将原来属于武汉“剿总”
白崇禧指挥的黄维、张淦兵团尽可能吸引住，不让其将兵力东向，以减轻东线我军的压力。而陈毅和邓小平则率中野的一纵、三纵、四纵、九纵4个纵队东进郑州，在黄河北岸的华北野战军的十四纵的配合下（由于有华北野战军的配合，所以极为重要的郑州黄河大铁桥得以完整无损地保护下来），10月22日攻克了郑州。两大野战军（严格说来，还有华北野战军的部队）开始并肩作战。
10月22日，毛泽东见到刘伯承在豫西吸引黄维、张淦等部的目的已经达到，短期内不会对我徐州地区的战事带来麻烦，因此中野可以在攻下郑州之后继续向东线展开行动。于是，他又给中野下达了新的任务：
“以主力于邱、李两兵团（按：指向东增援徐州方面
而这种打法，又出现了在辽沈决战中关门打狗的味道。
10月24日，陈毅和邓小平根据毛泽东的方案，率领中野4个纵队攻下开封后向东攻击前进，陆续进至商丘、永城、亳州、涡阳。我军对徐州刘峙集团的包围攻势已经大致形成。
10月31日，华东野战军已做好了大战的准备。粟裕心中已经完全清楚新的淮海战役的规模与目标，两大野战军联合作战的格局已经初步形成。所以粟裕在这天向中央军委、华东局和中原局同时发出电报，称“此次战役规模甚大，请陈军长、邓政委统一指挥”。中央军委也作出决定，这次战役由陈毅和邓小平统一指挥。陈毅和邓小平在给中央军委的复电中说：“本次作战我们当负责指挥，惟因通信工具太弱，故请军委对粟、谭方向多直接指挥。”这样，两大野战军合作的新格局形成，这是我军敢于在总兵力小于敌方的情况下同蒋介石军队的最大战略集团进行决战的重要保证。
11月2日，东北战场上捷报传来，辽沈决战取得了全面胜利，全国的军事形势发生了很大的变化，国共两方兵力的对比发生了根本上的转化。毛泽东的信心更足了，原来计划让粟裕打了黄百韬之后去打两淮的方案被毛泽东自己所推翻。
11月7日，毛泽东在给华野（同时也电告中野）领导人的电报中估计，消灭黄百韬兵团只需10天左右时间，而“如能达成此项任务，整个形势将改变，你们及陈邓即有可能向徐蚌线迫近，那时蒋介石可能将徐州及其附近兵力撤至蚌埠以南。如果敌人不撤，我们即可打第二仗，歼灭黄维、孙元良，使徐州之敌完全孤立”。
不过，这时毛泽东还认为蒋介石是有可能撤，也有可能不撤。如果不撤，我军就抓紧机会打第二仗，歼灭黄维和孙元良兵团。
11月8日，粟裕在已经指挥大军向黄百韬兵团展开包围，在即将渡过运河向黄百韬兵团发起总攻之时，就他对全局的考虑给毛泽东发出了一封很长的电报，他在分析了蒋介石可能采取的集中主力于江北作战与江南作战的两种可能，也就是毛泽东所考虑的可能不撤与可能撤的两种可能和两种可能的后果对我军的利与弊之后，向中央提出了他的具体建议：
我们不知各老解放区对战争尚能支持到何种程度，如果尚可能作较大的支持的话，则以迫使敌人实现第一方针为更有利。如果认为迫使敌人采取第一方针是对的，则我们在此次战役歼灭黄兵团之后，不必以主力向两淮进攻［原注：新海（按：新指新埔，即今连云港；海指海州）敌主力已西撤］，而以主力转向徐固线（按：指从徐州经宿县到固镇的津浦线）进击，抑留敌人于徐州及其周围，尔后分别削弱与逐渐歼灭之（原注：或歼孙兵团，或歼黄维兵团），同时，以主力一部进入淮南切断浦蚌铁路，挫乱敌人部署与孤立徐、蚌各点敌人。
为此，在战役第一阶段之同时，应即以一部破坏徐蚌段铁路，以阻延敌人南运。
很明显，粟裕此时的考虑又进了一步，不是按蒋介石可不可能来决定我们的计划，而是从有利与不利出发，要迫使蒋介石跟着我们的安排走，就是要在江北吃掉蒋介石的80多万军队。
毛泽东此时的打算与粟裕完全一致。第二天，也就是11月9日，他在给粟裕并同时告华东局、陈毅、邓小平、中原局的电报中就明确指出：“应极力争取在徐州附近歼灭敌人主力，勿使南窜。华东、华北、中原三方面，应用全力保证我军供给。”这样，要全歼敌人几个主力兵团的计划就已经完全形成。这时，粟裕进攻黄百韬兵团的大战已经打响。也就是说，淮海战役事实上已经打响。
也是在11月9日，我军向黄百韬兵团发起进攻之后，发现刘峙有可能往南撤退的迹象。毛泽东得到这一情报之后，他毫不犹豫地下定决心，不能放走刘峙集团，要将其就地全歼。他立即给陈毅、邓小平、粟裕等人去电：
徐州敌有总退却模样，你们按照敌要总退却的估计，迅速部署切断敌退路，以利围歼是正确的。……如敌向南退却时，则集中六个纵队歼灭之。
现在不是让敌人退至淮河以南或长江以南的问题，而是第一步（即现在举行之淮海战役）歼敌主力于淮河以北，第二步（即将来举行的江淮战役）歼敌余部于长江以北的问题。
就这样，在毛泽东和粟裕、陈毅、刘伯承、邓小平等人心中，原来的“小淮海战役”，一步一步地发展成为“大淮海战役”。由原来打算的打两淮，消灭黄百韬兵团的十几个师，发展为要在以徐州为中心，东起海滨，西至豫东，北至陇海沿线，南至淮河的大战场上消灭敌人的几个兵团，几十万人的大型歼灭战。这一个不断发展变化，不断成熟的过程，是毛泽东和前线指挥员共同在不断发展变化的实际情况面前审时度势、深思熟虑的过程。是我按照我军一贯主张的“执行有利决战，避免不利决战”的方针，及时调整部署，做出的最佳决策。正因为这种决策是在实践中逐步形成的，所以就能在今后的具体实施中胸有成竹地从容对付各种复杂的局面，保证将原来所预定的决战方案变为胜利的现实。
当时担任华野副参谋长的张震后来回忆说：
毛主席高瞻远瞩，制定了淮海战役的作战方针，又博采众长，使这个方针得到补充和进一步完善。战役第一阶段的进攻方向选定在徐州以东，歼灭对象是黄百韬兵团。中野主力直击徐蚌线，协同华野作战。在总的战略意图下，最高统帅部和前线指挥员之间经过酝酿磋商，使战役的具体部署更加缜密。
很明显，淮海决战的蓝图描绘过程本身，就已经预示了这场波澜壮阔的大战必然胜利。