一九三八年五月十九日，中国空军两架B-10重型轰炸机从武汉起飞，在宁波机场加油后，于二十日凌晨三时，分别飞临日本熊本市、久留米市、福冈市、佐世保市和长崎市上空——中国空军重型轰炸机投下的不是炸弹，而是两百万份《告日本国民书》。
这份由中国国民政府发布的、以蒋介石口吻写就的告知书，详细说明了日军在中国究竟干了什么，日军对中国的侵略将给日本国民带来什么：
……
抗战已一周年矣，诸君虽怵于军阀淫威，谅亦必有沉重不胜之回想，贵国军部不尝谓不战即可屈服中国乎？不尝谓不过二三月短期间即可速战速决乎？然今则竟言必须准备长期作战矣。彼辈逐步困难，不得不一再变更其欺骗诸君之方式时，诸君几多兄弟子侄，已变大陆之鬼；几多闺中少妇，已作未亡之人；几多之幼小儿女，已成无告之孤，诸君所得于战争者究何在？即以我东北四省而论，被彼辈攫取，已历数年，然诸君除负担庞大之战费外，又何所获？
……
尤有一事，中正实不忍言，但又不能不言者，厥为对妇女同胞之暴行。自十岁左右之幼女，乃至五六十岁之老妇，一遭毒手，閤（阖）族难免，或数人轮奸污辱，使受辱者不旋踵而呻吟毙命。贵国向来尊重礼教，崇尚武德，为世界所称道。讵至今日，贵国军人行为上之所表现者，不特礼教扫地，武德荡然，直欲绝灭人伦，违逆天理！如此军队，不仅日本之耻辱，亦留人类之污点……而诸君在国内犹为军部宣传所蒙蔽，以为渡华作战死亡之子弟，皆是为国牺牲之荣誉国殇。宁知此等死者，皆为军阀驱使强迫下之冤魂，或负无穷之罪恶，或怀悲愤而没世，不但无荣誉可言，且使贵国全体国民同蒙不可洗涤之千载污名矣。
统上所述，诸君因受蒙蔽，或罕听闻，但国际正义之士，已有文字照片传播于全世界，并世人类莫不引为羞耻。然而诸君全体固不能负其责。负其责者，乃彼辈狂妄之军部也。军部丧失人性，不能以理智御下，故在下者均无纪律，乃至上行下效，共趋于罪恶之深渊，而以制造罪恶相夸竞。任何国家，断无纪律扰乱军队堕落至此，而犹可不败者。诸君若不及时急起，声讨军阀，制止侵略，则贵国前途之可悲，实不堪设想！
这是日本历史上第一次有异国战机飞临其领空。
卢沟桥事变爆发后，日本海军木更津航空队的二十架96式陆基攻击机，曾从朝鲜半岛的济州岛起飞，飞越黄海轰炸中国首都南京。事后，日本人认为，这是世界上“第一次渡洋爆击”，是“世界最初的航空作战”。日本人绝对想不到，经过近一年的对华作战，中国空军的有限力量损失殆尽，而就在日本大肆宣传中国在其皇军的“神威”下已无还手之力时，中国空军竟然也能越洋飞临日本进行“爆击”且安全返航。更何况，伴随着中国空军战机的轰鸣声，日本国民看到的是威力毫不逊色于炸弹的东西——两百万份告知书如同暴雪漫天狂舞。
中国空战史将铭记这几位勇士的名字：中国空军第十四队队长徐焕升少校，副队长佟彦博上尉，飞行员蒋绍禹中尉、苏光华中尉，以及通信员陈光斗少尉、吴积冲少尉，领航员雷天春少尉、刘荣光少尉——其中，佟彦博、苏光华以及雷天春、吴积冲，都在后来的对日作战中为国捐躯。
《告日本国民书》，是一九三八年三月在武汉召开的国民党临时全国代表大会通过的一份决议。
南京陷落后，国民政府面临着政略和战略上的调整，以便重新组织全国的抗战，于是决定召开国民党临时全国代表大会，以确定今后的战争任务和行动方针。
中国共产党中央委员会于三月二十五日致电国民党临时全国代表大会，提出八项建议：
一、号召全国人民以中华民族必胜的信心，誓与日寇抗战到底，指出只有持久战才能致日寇的死命。坚决反对一切投降妥协悲观失望的倾向。
二、继续动员全国武力人力财力为保卫西北、保卫武汉而战。在前线，彻底贯彻执行阵地战、运动战、游击战三者适当配合的新战略。在敌人后方坚决援助与发展广泛的人民的自卫战。
三、继续扩大与巩固抗日民族统一战线。首先即须发布以孙先生三民主义为基本原则的抗日民族统一战线的共同纲领，作为动员全国人民共同奋斗的明显鹄的。再在这一纲领下，建立一种各党派共同参加的某种形式的民族解放同盟。
四、继续扩大与巩固国民革命军。切实加强军队的政治工作，严紧军队纪律，认真改善征兵制度。
五、继续改善政治机构。首先应该召集真能代表全国民意的全权的国民大会，通过抗日民族统一战线的共同纲领，制定各种实施纲领的具体法令，大量吸收全国人民各党派中的爱国志士参加政府。切实整顿地方政府，洗刷贪官污吏。
六、继续全国人民的动员。普遍组织民众的自卫队、游击队，大量扶植与发展一切抗日救国与工人的、农民的、青年的、妇女的、各界的、职业的民众团体，颁布民族统一战线总方针下言论、集会、结社、出版、信仰自由的民主法令。
七、实施优待抗日军人家属，豁免战区地赋等改善民生的法令。
八、组织抗战的经济基础，建立国防工业，发展军需工业，改进农业。
四月一日，国民党临时全国代表大会通过了《抗战建国纲领》：
甲、总则
（一）确定三民主义暨总理遗教为一般抗战行动及建国之最高准绳。
（二）全国抗战力量应在本党及蒋委员长领导之下，集中全力，奋励迈进。
乙、外交
（三）本独立自主之精神，联合世界上同情于我之国家及民族，为世界之和平与正义共同奋斗。
（四）对于国际和平机构及保障国际和平之公约，尽力维护，并充实其权威。
（五）联合一切反对日本帝国主义侵略之势力，制止日本侵略，树立并保障东亚之永久和平。
（六）对于世界各国现存之友谊，当益求增进，以扩大对我之同情。
（七）否认及取消日本在中国领土内以武力造成之一切伪政治组织，及其对内对外之行为。
丙、军事
（八）加紧军队之政治训练，使全国官兵明了抗战建国之意义，一致为国效命。
（九）训练全国壮丁，充实民众武力，补充抗战部队，对于华侨回国效力疆场者，则按照其技能，施以特殊训练，使之保卫祖国。
（十〉指导及援助各地武装人民，在各战区司令长官指挥之下与正式军队配合作战，以充分发挥保卫乡土捍御外侮之效能，并在敌人后方发动普遍的游击战，以破坏及牵制敌人之兵力。
（十一）抚慰伤亡官兵，安置残废，并优待抗战人员之家属，以增高士气而为全国动员之鼓励。
丁、政治
（十二）组织国民参政机关，团结全国力量，集中全国之思虑与意见，以利国策之决定与推行。
（十三）实行以县为单位，改善并健全民众之自卫组织，施以训练，加强其能力，并加速完成地方自治条件，以巩固抗战中之政治的社会的基础，并为宪法实施之准备。
（十四）改善各级政治机构，使之简单化，合理化，并增高行政效率，以适合战时需要。
（十五）整饬纲纪，责成各级官吏，忠勇奋斗，为国牺牲；并严守纪律，服从命令，为民众倡导，其有不忠职守，贻误抗战者，以军法处治。
（十六）严惩贪污官吏，并没收其财产。
戊、经济
（十七）经济建设应以军事为中心，同时注意改善人民生活，本此目的，以实行计划经济，奖励海内外人民投资，扩大战时生产。
（十八）以全力发展农村经济，奖励合作，调节粮食，并开里荒地，疏通水利。
（十九）开发矿产，树立重工业的基础，鼓励轻工业的经营，并发展各地之手工业。
（二十）推行战时税制，彻底改革财务行政。
（二十一）统制银行业务，从而调整工商业之活动。
（二十二）巩固法币，统制外汇，管理进出口货，以安定金融。
（二十三）整理交通系统，举办水陆空联运，增筑铁路公路，加辟航线。
（二十四）严禁奸商垄断居奇，投机操纵，实施物品平价制度。
己、民众运动
（二十五）发动全国民众，组织农、工、商、学各职业团体，改善而充实之，使有钱者出钱，有力者出力，为争取民族生存之抗战而动员。
（二十六）在抗战期间，于不违反三民主义最高原则及法令范围内，对于言论、出版、集会、结社，当与以合法之充分保障。
（二十七）救济战区难民及失业民众，施以组织及训练，以加强抗战力量。
（二十八）加强民众之国家意识，使能辅助政府肃清反动，对于汉奸严行惩办，并依法没收其财产。
庚、教育
（二十九）改订教育制度及教材，推行战时教程，注重于国民道德之修养，提高科学的研究与充实其设备。
（三十）训练各种专门技术人员，予以适当之分配，以应抗战需要。
（三十一）训练青年，俾能服务于战区及农村。
（三十二）训练妇女，俾能服务于社会事业，以增加抗战力量。
《抗战建国纲领》在坚持抗战和争取最后胜利的总方向上，与中国共产党提出的《抗日救国十大纲领》的精神基本一致。在政治、军事、经济、外交、民众运动和教育等项中，甚至采取了与中国共产党近似或类似的提法，如：“本独立自主之精神，联合世界上同情于我之国家及民族，为世界之和平与正义共同奋斗”；“联合一切反对日本帝国主义侵略之势力，制止日本侵略”；“充实民众武力”；“在敌人后方发动普遍的游击战”等等。
《抗战建国纲领》是抗日民族统一战线的产物，它的意义不仅在于对未来战争的指导，更重要的是中国向世界宣告：尽管军事上始终处于劣势，但中华民族决心不惜一切牺牲，不怕一切困苦，与日本侵略者战斗到底，直至取得最后的胜利。
大会闭幕之际，蒋介石在致词中强调了争取抗战胜利的根本保证，即全国各党派和各阶层民众的团结一心：“如果我们国家内部能够团结一致，始终不渝，我们就没什么不能克服的困难，也没有什么可怕的敌人。”
此次抗战，为国家民族存亡之所系，人人皆当献其生命，以争取国家民族之生命，吾同胞同志之血，一点一滴，皆所以使四万万五千万之人心凝结为一，以为中国之金城汤池。即此心力物力之夷为灰烬者，亦必于灰烬之中发生热力，为中国之前途燃其光明之炬。最后胜利之获得，不特领土主权及行政之完整可以确保，自由平等之国家亦可由此实现，吾同胞同志惟有并力以赴，不达目的，决不中止。
中国多么需要“人心凝结为一”。
台儿庄战事暂时平息后，中日双方都开始了对战局的考量。
在东京，关于“扩大”或“不扩大”战局的争论再次出现。“不扩大派”的根本出发点，是基于对日本经济现状、工业能力、外交困境以及应对苏联的战争准备等诸方面因素的顾虑，不得不做出的固守现占领地，仅以军事和政治压力迫使国民政府屈服的基本方针。但是，此时的“不扩大派”面临着一个十分尴尬的问题：日本政府已宣布不以中国国民政府为外交方。——此话一出，日本人便意识到，话说得太早也过于狂妄和鲁莽了。现在，日本人不得不承认，他们在中国扶持的伪政权没有任何政治、军事和民意基础，依靠这样的伪政权不可能实现征服中国的目标。——一面与国民政府进行政治和军事较量，一面又宣称不以国民政府为“对手”，这种处境不但荒诞不经且有掩耳盗铃之嫌。那么，剩下的手段似乎只有扩大战争规模了，尽管这将使对华战争变成一场对日本十分不利的长期战争。可是，仅就战场现状而言，“不扩大派”还是坚持认为：当前在“作战上难以解决事变”，“不过是强使小局部特别是末梢部出血”而已。在这种情形下，“占据徐州，大致需要增加二个师团，对苏关系的兵力、资材也会因攻占徐州而愈益缺乏。况且，还将使既定的充实军备计划出现致命障碍”。
日本陆军是日本政治的主宰者。傲慢而强硬的陆军将领们，都是狂热的“扩大派”，他们相信武力能够实现大日本帝国所期望的一切。陆军将领们反驳“不扩大派”说，目前占领的“地域、人口、资源，难以实现就地自给自足，结果将逐步消耗减少日本的战力。”必须将蒋介石政权驱除出中原，将其压迫至边陲地区，并在战略、政略、谋略上占据有利态势。目前，日军北面停止在济南，南面停止在南京，这样不但不能解决战争，反而会使战争无限地延长。所以，必须“断然实施徐州及武汉、广东作战”。“扩充对苏战备固然重要”，可现在一切的重点是“中国大陆”。尽管台儿庄战事令日本陆军蒙羞，但陆军部认为，从战争全局看这只是一次出击失利，不应影响早已设定的侵华战略，即歼灭黄河以南的中国军队主力，攻取国民政府目前的政治军事中心武汉。
一九三八年三月二十四日，日军华北方面军作战课致电东京参谋本部作战课：
第二军的作战，始终是基于屡次报告的方针进行的，但与优势之敌已近于接触，形成对敌之所谓决战攻势不能不予以迎击的形势。这次战斗，肯定对我十分有利，尤其在蚌埠方面，依靠友军的积极行动，予以册应，很明显会收到更大成果。其结果，敌放弃徐州也未可知。可是现在，敌可自由运用兵力，我则逐次不可避免地以劣势打优势，造成重大损失，对全局极其不利，自不待言。徐州之得失尚属次要，主要为发挥我全面战略态势之有利方面，对正在以徐州为中心聚集之敌集团，尽可能以最小牺牲给敌以最大打击。如何处理，已是燃眉之急。
多年后，当时的参谋本部作战课课长稻田正纯回忆：
濑谷、坂本两支队自台儿庄后退问题，从战况看是当然的。当时，方面军也好，第二军也好，都焦急地感到，为什么不更早一点后退呢？台儿庄的后退，并非败退。迟早要后退，这是从一开始就和大本营说好了的，所以不成问题。得到台儿庄方面“出现汤恩伯军”的情报时，就担心情况要糟。过于突出的第二军那一部分，如不及早收住，就会危险。这是因为汤恩伯军的出现，意味着蒋介石的主力决战来了。由于濑谷、坂本两支队已脱险后退，所以安心了；但同时由于让敌人主力靠近了身边，这样就形成：那就来一场徐州会战吧！赶紧准备起来！
华北方面军的电报使东京大本营意识到：“在台儿庄方面有大量的中国军队，特别是汤恩伯军的出现，认为给蒋介石军的主力一大打击，是挫伤敌人抗战意志的好机会，因此决定进行徐州作战。”“扩大”与“不扩大”战局的争论就此搁置，既然发动徐州会战能消灭中国军队主力，特别是对日后的武汉作战有利，大本营批准了华北方面军的作战计划。四月三日，大本营和陆军部联合下达了“大陆指第一〇六号”令：
第一、方针
华北方面军以一部有力部队及与之相配合的华中派遣军的一部，击败徐州附近之敌，并占领津浦线及庐州（合肥）附近。
作战时间预定于四月下旬。
第二、要领
一、华北方面军约以四个师团向陇海沿线发动攻势将敌击败。为此，以主力从北面击败徐州附近之敌，约以一个师团从兰封东北方附近，向敌退路归德（商丘）方向进攻。
二、华中派遣军约以两个师团（其一部担任后方警备）从南面册应华北方面军作战。为此，从津浦沿线地区进击，尤其应力求切断敌之退路。
三、华北方面军占领徐州以北津浦线，将敌击败后占据兰封以东的陇海线以北地区。
四、华中派遣军击败敌军之后，占据徐州（包括在内）以南津浦线及庐州附近。
五、两军作战要紧密联络。
六、本作战完成之后，华北方面军约将三个师团配置在黄河以南，华中派遣军约将两个师团配置在徐州（包括在内）以南津浦线及庐州附近。
日军华北方面军与华中派遣军联络后，共同制订了徐州作战计划，其基本内容是把会战分成三个阶段：
第一阶段，华北方面军与台儿庄战场上的中国军队保持接触，将其滞留在韩庄、台儿庄、峄县和临沂地区；华中派遣军由江苏淮阴向西北方向的徐州推进，将中国军队主力牵制在徐州东南地区，以争取并掩护攻击主力第二军对徐州实施战略包围。
第二阶段，“以急袭战术开始攻势运动”，对徐州实施南北包围作战并最终攻占；同时从微山湖西侧进攻，切断“徐州以西及西南面”中国军队的退路。
第三阶段，华北方面军“占领兰封以东附近陇海线一带”，华中派遣军“确保徐州（包括在内）以南津浦沿线”。同时，华北方面军以一部兵力在兰封至范县附近南渡黄河，攻占开封和郑州，切断兰封以东的陇海线和郑州以南的平汉线。
为了增强担负进攻任务的第二军的兵力，日军华北方面军把直属的第一一四师团，战车第二大队，野战重炮第三、第六联队以及工兵联队都配属给了第二军。之前调往淞沪战场的第十六师团也奉命归建。由此，日军第二军的总兵力达到四个师团、一个混成旅团以及诸多的工兵和炮兵部队。
从日军作战计划上看，徐州会战规模虽大却仍属追击性作战。东京大本营的指令，只要求包围并击溃徐州附近的中国军队，占领津浦线以及陇海线上的要地，并没有再提以期“解决事变”的战略目标，也没再指望由此“迫使蒋政权屈服”。但是，即将开始的徐州会战，却是中日开战以来日军投入兵力最多的一次作战。当时，侵华日军总兵力为十八个师团，约四十余万人，而被投入徐州战场的兵力就达八个师团，其中华北方面军五个半师团，华中派遣军两个半师团，总兵力达二十余万人，占侵华日军总兵力的一半。由此可见，经历了台儿庄战役的日军终于意识到，中国的任何一处要地已不再可以轻取。
此时，在台儿庄战场上的中国军队，无论是孙连仲的集团军还是汤恩伯的军团，由于缺乏旺盛的持续攻击意图，未能趁敌立足未稳将其歼灭，以致在台儿庄以北的峄县一带与日军濑谷、坂本两支队形成对峙。这种对峙使战场态势变得微妙起来：日军主力并未受到严重损伤，如要打破僵局，势必进行反击作战，且这一反击很可能会越过台儿庄直指徐州；中国军队随着主力的逐步靠拢，在这一地区已形成兵力上的绝对优势，似乎也没有停止扩大战果的理由。同时，在中国军队方面，并不是所有人都对扩大战果表示认同。
国民政府军令部第一厅厅长刘斐认为：应结束这种危险的阵地战，迅速转为机动防御，尽量缩小战场的正面，除以一部与日军保持接触外，主力应部署在有利于机动的位置，相机打击日军。同时，必须布防运河一线，控制强大的预备队在徐州以西，一方面以备日军从鲁西南或皖北迂回徐州；另一方面纵使日军打通了津浦路，我军也可以发起侧击使其“不能安全利用津浦路”。刘斐的理由很简单：无论是作战能力，还是作战时机，中国军队都不能与日军展开决战，如果贸然集中主力实施“固定一地”的决战，不但很难在正面强攻的阵地战中取胜，还容易落入日军多路包抄分割的圈套。这时候，刘斐已从台儿庄回到汉口军令部，他频繁地与李宗仁保持联系，阐释调整部署以确保机动的必要。但李宗仁认为可以“从既有的阵地线上取胜”，以致增援徐州战场的部队都被投入了第一线。
还在台儿庄战役刚刚打响时，蒋介石曾赴徐州第五战区长官部，因担忧徐州防御而问询李宗仁：“你看徐州可以守吗？”李宗仁答：“请委员长放心，徐州短期内没有问题。如果我能得到充足的补充，可能还要打一个不大不小的胜仗。”蒋介石没有回应李宗仁，但李宗仁看出蒋介石对此“将信将疑”。只是按照李宗仁后来的说法，当时头脑发热的并不是他而是最高统帅部 “不到一个月，我援军抵徐的几达二十万，与本战区原有的军队合计，不下六十万。大军麇集于徐州附近地区，真是人满之患。”李宗仁打电话给白崇禧：“委员长调了这么多部队干什么呢？”白崇禧答：“委员长想要你扩大台儿庄的战果。”李宗仁认为，扩大战果为时已晚，且“我方集大军数十余万人于徐州一带平原地区内，正是敌方机械化部队和空军的最好对象。以我军的装备，只可相机利用地形有利条件与敌人作运动战，若不自量力与敌人作大规模的阵地消耗战，必蹈京、沪战场的覆辙”。
那么，在台儿庄战役之后，中国方面到底是谁头脑发热了呢？
毫无疑问，蒋介石基于“积小胜为大胜”的原则，确实对在鲁西南再打一个如同台儿庄的胜仗抱有期望。从四月二十五日他给李宗仁的电报上看，他依旧舍不得放弃已控制的任何要点，要求一线部队作出固守防御的部署：“我鲁南与淮北各部，除固守运河阵地及徐州国防工事之外”，位于鲁西南的部队南下皖北砀山至黄口一线，然后夺取位于徐州西南方向的永城；“我鲁西豫东部队”向东发起攻击，占领徐州西北方向的丰县和沛县。蒋介石告诉李宗仁：“敌兵力不足，军纪废弛，士气颓唐，其淮北主力，已不敢北进；而其鲁西主力，亦为我后方各部牵制。其踌躇不决，畏缩不前，已甚明显，只要我运河线与徐州国防工事能固守不动，则敌此次大包围计划，必可被我粉碎，而且可予以歼灭也。”于是，汉口军令部制订的《徐州会战作战指导方案》，体现出蒋介石的这种繁杂心绪：攻击方向仍旧是鲁西南，作战原则还是攻势歼敌，只是加了“不得已时”机动防御的内容。当第五战区遵循这份《指导方案》，将拟定的作战计划上报后，蒋介石对第五战区提出的要求是：“须着眼求敌主力包围于战场而歼灭之。”
事实上，蒋介石的“求敌主力包围于战场而歼灭之”，与之前李宗仁的“集中所有力量”发动全面攻势以奠定战争“胜利基础”，两者基本是一致的。
只有刘斐坚持认为，目前在徐州方向，中国军队机动和预备兵力太少，投入一线防御作战的部队还是太多。西起微山湖，经獐山、峄县、兰陵镇、向城，一直东延至沂河东岸的码头、郯城，在“绵亘三百多里”的战线上，中国军队投入了近四十多万的兵力，且基本都布防在运河以北地区。一旦日军从侧面或背后迂回徐州，宽大的战线将难以适应瞬息万变的战局从而陷于被动。由此，刘斐不断地问询李宗仁，是否调配出了机动或预备部队？——“第五战区不仅没有抽调出机动部队，而且把所有的部队都投入到第一线或紧接第一线，与敌做延翼竞赛。”所谓“延翼竞赛”，指的是中日两军主力都在企图包围对方，尽力延展各自的两翼，看谁能把对方包围住。——这不是典型的决战是什么？刘斐的担心有相当的道理：至少在一九三八年四月，中国军队尚不具备与日军在徐州地区决一死战的能力。先不说武器装备的巨大差距，仅就兵力对比而言，中国军队六十万，日军投入二十余万，淞沪会战时中国军队十比一的兵力比例仍未能取胜，如今在三比一的比例下围歼日军的信心从何而来？
徐州会战，就这样开始了。
为协调华北方面军与华中派遣军的关系，日军东京大本营派人到达山东济南，于四月十七日召开关于徐州作战的碰头会。参加会议的有：大本营派来的桥本群少将、西村敏雄中佐；华北方面军作战课课长下山琢磨大佐，第一军参谋友近美晴中佐，第二军参谋长铃木率道少将、参谋冈本清福大佐；华中派遣军副参谋长武藤章大佐以及临时航空兵团参谋田中友道大佐。会议一开始，华北方面军与华中派遣军就爆发了争执。首先，徐州会战以谁为主？华北方面军的意见是以第二军为主：“当面之敌，对世界和国民来说，为保持面子，恐不会退却。因此，以攻占徐州为目标，即使最小规模的包围，其成果也绝不小。”而华中派遣军认为，是否占领徐州是次要的，重要的是消灭中国军队的主力：“第二军立即发动攻势，派遣军马上开始行动，则敌人可能退却。因此，从效果考虑，其方法应该是中止第二军的攻击，扣住敌人，然后以第一军及派遣军在归德方面完成大的包围圈，可达到消灭敌人的目的。”接着是关于作战时间的争执。华北方面军的意见是：“第五师团从四月十六日开始攻击沂州（临沂），第十师团从十八日开始攻击，进入台儿庄南面地区的作战，要持续到四月底。在这一进入线内为准备以后的攻势，第十六师团集结于济宁附近，从五月十日左右可开始徐州作战。”而华中派遣军的意见则是由他们首先行动：“为册应华北军作战而开始作战，东台、高邮附近的部队要走在前头，应尽量提前开始行动。派遣军最初的计划是四月二十九日，五月四日左右进入宿县、蒙城一线（重点蒙城方面）。如果华北方面军迟延的话，希望和第二军攻势开始同时行动，因为到徐州的距离比第二军远，多少需要提前开始行动。”
面对即将开始的大规模作战，在这个特别召开的参谋会上，除了最终对徐州形成南北包围外，其他问题均未达成一致。
会后，华北方面军和华中派遣军各自制订了作战计划。
日军华北方面军徐州会战计划：
一、在徐州北面挫败敌人的进攻。但敌正在兰封以东、陇海沿线及其以北增加兵力，有阻止我进入的企图。
二、方面军必须走在敌人的态势完成以前，迅速击败徐州方面之敌，占据大致兰封以东、陇海线以北地区。华中派遣军与方面军相呼应，约以两个师团从蚌埠、怀远附近发起行动，由津浦线西面地区北上，大致在归德以东、陇海线以南地区，切断徐州附近敌主力的退路。以一部兵力于四月二十四日从东台（江苏省）北上，协助方面军作战。
三、第二军在其兵力集结的同时，对当面之敌进行攻击，并须占领徐州。
四、第一军应以有力的一部渡过黄河，首先迅速切断兰封、归德间的陇海线，并向归德方面挺进。与华中派遣军一部密切配合，使第二军的作战顺利进行。掩护第一军渡河部队由火车送到济宁附近，要求着即由该方面行动。另外，在兰封以西、黄河沿岸尽可能用佯攻牵制敌人。
五、临时航空兵团应以其主力协助向陇海线地区作战。特别应将其重点指向第二军正面。更应与华中派遣军第三飞行团及海军航空队密切配合。
四月二十四日，华中派遣军发布徐州会战作战计划：
一、方针
军与华北方面军相册应，将徐州附近之敌捕捉消灭在徐州西面地区，决战时间大概定为五月中旬。
二、指导要领
军预定于五月五日左右开始前进。根据情况，预期在四月底以后有可能开始前进。
军将第九师团、第十三师团并列作战，首先击败当面之敌，神速向赵家集—蒙城一线挺进，此时的重点保持于左师团。进入赵家集—蒙城一线附近以后，应向归德、亳县方面，还是砀山、永城方面，或是向徐州方面前进，要看情况。特别是应根据徐州方面之敌情再行决定。但不管情况如何，必须以一部占领宿县附近。
派遣军为保证军的主力作战，在军的主力行动前，下令派遣如下部队：
第一〇一师团从现驻扬子江北岸的部队中，尽可能抽出更多的兵力，向阜宁方面前进。
第六师团迅速以步兵四个大队为基干的部队，沿和县至巢县至庐州大道地区作战，咬住庐州方面之敌。
派遣军于四月十三日命令，在苏州附近警备的第九师团在凤阳附近集结，第十三师团在蚌埠、怀远间集结。
第九师团在四月中旬陆续集结于南京对岸的浦口，排除敌之障碍北上，到五月八日前集结于凤阳、临淮关地区，第十三师团也在五月八日前在所命令地区集结完毕。
从作战计划上看，日军两路部队虽是各管各的，但已经呈现出对中国军队的南北合围趋势。
在徐州战场的北线，位于鲁南的日军第五师团急不可耐，师团长板垣征四郎把他的指挥部前推到临沂西北面的义堂集附近。日军华北方面军又从独立混成第五旅团以及第一一四师团抽出部队，归板垣征四郎指挥，以厚第五师团兵力。板垣征四郎随即派出了他最强悍的国崎支队，于四月十六日向鲁南重地临沂发动了攻击。
四月十九日，李宗仁致电武昌参谋总长何应钦、军令部部长徐永昌：
……当面之敌自应晨以来猛烈犯我，着着进逼迄未停止，啸（十八）日晚继续彻夜激战，炮火猛烈。我阵地全毁，房屋均着火，炮弹已渐达城垣，我官兵于火光烟焰中流血抵抗，前赴后继，伤亡累累，而干部伤亡尤重，陷于苦战状态。现援军仅到一部，二十一师尚无消息，现时情况二十一师如今晨不能到达，危险堪虞……
十九日中午，日军突入临沂，负责守城的庞炳勋部激战后“官兵伤亡甚重”，残部于二十日凌晨突围而出。
原定负责增援临沂的还是张自忠部。
之前，张自忠部两次奉命增援临沂，部队“伤亡奇重，兵员锐减”，“尤其是第三十八师，作战前约有一万五千人，临沂战役后仅剩不足三千人”，部队因此南撤卞庄（苍山）一带补充休整。自中国军队津浦路作战开始以来，张自忠部于南北战场不断奔波，哪里危急就赶赴哪里苦战。这一次，他又奉命从卞庄北进增援临沂，但因沿途受到日军猛烈阻击而未能及时赶到。及至临沂失守的消息传来，张自忠自责内疚得几近绝望，在给军令部次长熊斌的电报中说：“职部此次转战临沂，为时月余，激战四次，逐次伤亡，力量减削，而敌陆续增加，志在报复。职部以兵员疲惫、器械残缺之余，当生力增援机械化之敌，预料必危。今日徒以国势至此，分属军人，义无反顾，是以激励部属，奋斗到底，而在援军未赶到前，守城庞军退出临沂城垣，战局顿挫，是所痛心。兹查职部黄师（第三十八师师长黄维纲）伤亡殆尽，刘师（第一八〇师师长刘振）伤亡达三分之二，两师现以战斗员并编一旅，尚觉不敷。职忝绾军符，以身许国，救国有心，杀敌无力，殊觉俯仰疚心。”
临沂失守，中国军队失去了鲁南的战略支撑点。
日军国崎支队占领临沂后，沿沂郯（临沂至郯城）公路迅速南下，目的是调动中国军队主力东援，以掩护日军第十四、第十六以及第一一四师团在鲁西南展开，切断运河以北所有中国军队的后路，进而实现围歼汤恩伯和孙连仲两军的目的。为避免被围在日军的包围圈里，李宗仁命令汤恩伯的军团放弃对濑谷、坂本两支队的围攻，将关麟征的第五十二军、王仲廉的第八十五军以及周晷的第七十五军等部，后撤至兰陵镇、洪山镇东南地区占领阵地。
四月十日，在临沂战场的西面，与第五师团并驾齐驱的日军第十师团主力由兖州向南推进到枣庄。枣庄位于兰陵镇的西北方向，距兰陵镇仅六十多公里，这意味着第十师团将向汤恩伯部发起攻击。按照日军徐州会战的计划，第十师团的任务是将中国军队滞留在台儿庄附近。第十师团投入的部队是：以濑谷启的第三十三旅团为基干的濑谷支队、以长濑武平的第八旅团为基干的长濑支队，还有由第五师团转隶而来、以坂本顺的第二十一旅团为基干的坂本支队。十八日，日军的攻击开始，其部署是：濑谷支队在左，沿枣台铁路线向台儿庄进攻，负责牵制滞留孙连仲部；长濑支队在中，先向兰陵镇，再向禹王山发起进攻；坂本支队在右，先向向城、再向四户镇发起进攻。长濑、坂本两支队的作战目标只有一个，牵制中国军队的主力汤恩伯部。
十九日，坂本支队突入向城，长濑支队推进到兰陵镇，只有濑谷支队在攻击台儿庄时受到周晷的第七十五军的顽强阻击。汤恩伯部逐次放弃阵地向南后退，坂本和长濑两支队紧追不舍，两军激战于兰陵镇、洪山镇以南的四户镇一线，日军决绝强悍的攻击令汤恩伯部死伤严重：郑洞国的第二师剩下不足两千人，而新组建的梁恺的第一九五师只剩下不足千人。——蒋介石要求中国军队固守的大运河北岸阵地已经变得支离破碎。
这时，滇军第六十军增援而至。
卢沟桥事变爆发后，在蒋介石的请求下，云南省府主席龙云将直属的步兵、炮兵、工兵、交通兵、护卫骑兵等部队合编为中国陆军第六十军。任命卢汉为军长，下辖第一八二师，师长安恩溥；第一八三师，师长高荫槐；第一八四师，师长张冲。一九三七年十月，第六十军出云南经贵州，徒步行军四十多天，抵达湖南常德待命。一九三八年初，又转至武昌整训，四月奉命开赴鲁南战场。
中国陆军第六十军军歌，是著名作曲家冼星海创作的：
我们来自云南起义伟大的地方，
走过崇山峻岭，
开到抗日战场。
兄弟们用血肉争取民族的解放，
发扬我们护国、靖国的荣光。
不能任敌人横行在我们的国土，
不能任敌机在我们的领空翱翔。
云南是六十军的故乡，
六十军是保卫中华的武装！
云南是六十军的故乡，
六十军是保卫中华的武装！
军长卢汉先期赶到第五战区长官部，李宗仁告诉他：“台儿庄东北前线吃紧”，第六十军归第二集团孙总司令指挥，“速到台儿庄东南面运河以北集结”。而一旁的白崇禧说：“台儿庄情况，前几天很紧，目前已趋缓和”，希望第六十军于二十四日前集结完毕。卢汉又去见了孙连仲，孙总司令说：“敌军攻势虽猛，但我们打得很好，局势已趋稳定。”——卢汉后来说：“李宗仁说话比较直率，白崇禧、孙连仲均未将台儿庄的真实情况相告。在我军赶赴集结地的途中，于学忠、汤恩伯两部已经转移，遂使我军未曾展开即与突入之敌不期而遇。”
按照命令，第六十军需集结在台儿庄的东南面，作为于学忠的第五十一军的二线部队。可是，当第六十军向集结地运动时，汤恩伯的第二十军团已经南撤，于学忠的第五十一军获悉汤恩伯部撤走后，赶紧向西收缩了自己的右翼，以至于在台儿庄战场的东南面，中国军队的防线上出现了一个巨大的缺口。日军以两个联队的兵力，在三十多门火炮和二十多辆坦克的支援下大举南下，与向北开来的第六十军第一八三师先头部队尹国华营迎头相撞。尹营长的先头部队消灭了日军的尖兵，占领了台儿庄以东的陈瓦房，但随即便陷入日军主力的包围。为给后续部队赢得时间，被包围的中国官兵顽强抵抗。危急时刻，一〇八一团团长潘朔端率部增援，在小庄附近遭遇日军的猛烈阻击，团附黄云龙阵亡，团长潘朔端身负重伤。日军从四面冲进陈瓦房，被包围的中国官兵开始了白刃战。最终，除一名叫陈明亮的士兵冲出包围圈生还外，尹国华营的其余五百余名官兵全部殉国。
先头营的拼死作战，为第六十军赢得了展开布防的时间。
二十三日，日军向蒲汪、辛庄、戴庄一线发起猛攻。防御蒲汪的第一八二师一〇七九团，在团长杨炳麟的指挥下与日军反复冲杀，当重机枪阵地上只剩下机枪手杨正发一人时，身负重伤的杨正发依旧在猛烈射击，竟然使得日军“不能靠近”。为增援蒲汪阵地，迫击炮排排长靳家祥和步兵排排长吕建国率队向日军发起突然反击，两个排的中国官兵冲入日军的坦克群，用集束手榴弹炸毁了数辆坦克，毙敌十余名，但随后身陷重围，两名排长和二十余名士兵无一生还。二十四日，蒲汪阵地上的中国守军已伤亡三百余人。日军增援部队抵达后，二十多辆坦克冲进蒲汪横冲直撞，滇军官兵与村庄里的断墙一起被碾为平地，双方惨烈的肉搏战一直持续到深夜，日军不支退却。而这时候的一〇七九团，连同负伤的代理团长钟光汉在内，全团仅剩下不足五百人。
第六十军军长卢汉记述：
敌我双方投入的兵力约达七万人，敌军三万余人，伪军五千人，我军三万余人，在不到四十平方公里的土地上反复厮杀，逐村争夺。这时，我军原在台儿庄东南面运河北面的集结地，由于陈瓦房、小庄、凤凰桥在遭遇战中为敌攻占，形成了东起台儿庄东北之陶沟桥、马家窑、李庄、五圣堂、邢家楼、五窑路，右至辛庄、蒲汪、西黄山之线的第一阵地，与敌在犬牙交错的状态中对峙。
二十五日夜，孙连仲转达第五战区命令：二十六日台儿庄全线发动反击，于学忠部向东，汤恩伯部向西，第六十军向北，合力歼灭突入台儿庄东面我军袋形阵地中的日军。
二十六日晨，中国军队的反击作战刚一开始，就被日军前所未有的强大火力所阻，无论是汤恩伯部、于学忠部，还是卢汉的第六十军，都不得不退回原阵地。日军在中国军队后撤后，以炮兵、坦克、步兵联合发动了全线攻击。在第六十军正面的东庄阵地，日军一个小时发射了五千发炮弹，东庄上空烟尘蔽日，整个村庄被夷为平地，那些在炮击中活下来的中国官兵，接着就与冲过来的日军步兵展开了激战。在右翼，第六十军一〇七八团团长董文英决心收复蒲汪，他带领一个机枪连和一个迫击炮排出击，于中午时分悄悄接近了日军据守的阵地。中国官兵的袭击是突然发动的，日军以一部在正面顶着，步兵与骑兵则绕到了董文英部的侧后，董团长率部一面试图冲出夹击一面奋力后撤，在得到一〇七七团的增援后才退至戴庄阵地。傍晚，伪军刘桂堂部换上滇军的军服，潜入第六十军胡山阵地，董文英团长奉命向胡山发动反击，战斗中董团长阵亡，三营营长陈浩如奉命代理团长，不久也在战斗中阵亡。这一天，一〇七八团出击部队伤亡官兵达三分之二。入夜，第六十军的胡山、窝山、戴庄等阵地相继弃守。
二十八日，日军越过戴庄，攻击台儿庄北面的禹王山阵地。第一八四师第五四四旅旅长王秉璋率部阻击，中国守军击中了日军的前锋坦克，王旅长在指挥战斗中胸部中弹。日军攻占禹王山山顶后，第五四二旅一〇八六团团长杨洪元要求三营三连组织敢死队，“趁暗夜发起进攻”，将山顶的敌人歼灭，然后向前推进，“构筑起坚固的防御阵地”。三连共计二百八十六名官兵，连长李佐认为：“到各排去挑敢死队员，不但贻误战机，且临时组成的敢死队，官兵之间互不熟悉，难以发挥夜战的威力。不如就用建制排，一个排接一个排连续冲锋，一定要把山顶夺回来。”首先冲上去的是三排，两个班的士兵趁日军不备将其赶下山顶。日军开炮了，已越过山顶的两个班的士兵全部阵亡。三排的其他官兵接着往上冲，同样，也在日军的炮火打击下全部阵亡。——“两个排一百三十多人，经几次冲击，伤亡近百人，只剩下三十多人守着禹王山的山顶。”三营长王朝卿向杨团长建议：“不能再向前冲了，只要守住山顶就行了，不然部队会被打光的。”——自四月三十日起，中国守军在禹王山顶棱线上与日军形成对峙。
在台儿庄东南战场的作战中，第六十军表现出惊人的勇敢和顽强，但也为此付出了巨大代价。李宗仁在致蒋介石的密电中称：“每一阵地失去，官兵均少生还。”近十天的血战中，第六十军十二个步兵团，伤亡兵力达七个团，约一万四千余人，其中阵亡者达五千余人。
中国守军的苦战，令濑谷、长濑和坂本三个支队不但出现严重伤亡，且作战进展困难。
日军战史记述：
到四月底，各支队的战线形成胶着状态，受到多数之敌（当时估计在三十个师以上）的抵抗和反击，陷于苦战状态。在我第一线部队通过的后方地区，敌人再次侵入，因此战线成混战状态，后防联络线的保持也极困难。第十师团长四月二十二日从枣庄进入兰陵镇指挥作战，但除指导第一线外，还要对侵入后方之敌采取对策，很忙碌。
鉴于师团长矶谷廉介的“忙碌”，华北方面军第二军派出了以草场辰已的步兵第十九旅团为基干组成的草场支队，命其配属第十师团增援台儿庄东南战场。但是，草场支队刚进至金陵寺、白山西附近，就遭到中国军队第一一〇师和第三十师的顽强阻击，被迫停滞不前。
此时，沿沂郯公路南下的日军国崎支队，二十三日占领郯城，二十四日晚占领码头镇。二十八日，国崎支队从码头镇出发，拟向西北面的北劳沟发起攻击。但是，在北劳沟村的东、北两面，受到关麟征的第五十二军和樊崧甫的第四十六军的猛烈阻击。激战一天一夜后，国崎支队后方联络中断，弹药给养匮乏，官兵伤亡惨重。师团长板垣征四郎追加了千余兵力前往增援，依旧没能使国崎支队摆脱困境。——“从二十九日起，国崎支队受到东、北两面之敌的反击，陷于苦战之中。因支队的后方联络线被切断，弹药、粮秣缺乏，而呈现补给完全没有希望的状况。由于不断伤亡，战斗力急剧下降。国崎支队的步兵第四十一、第四十二联队，自攻击沂州以来，没有补充过兵员，各中队伤亡累计百分之六十至七十，联队实力还达不到一个大队。”
为了抵抗住日军在鲁南发起的攻势，李宗仁将樊崧甫的第四十六军、李延年的第二军、谭道源的第二十二军以及安恩溥的第一八二师、吴良琛的第十三师，都加强给了汤恩伯的第二十军团。这其中，樊崧甫的第四十六军、李延年的第二军、吴良琛的第十三师，都是当时中国陆军中的主力部队。由此，一九三八年五月初，第五战区内的中国军队，于台儿庄东南方向的邳县附近，北依禹王山、方头山、艾山、南北劳沟，重新建立起一条横向防御线，以期利用有利地形与日军进行顽强的阵地战。日军逐步增援后，始终未能突破中国军队的这条防线，鲁南地区战事由此呈现出胶着状态。——就鲁南战局来讲，尽管日军难以推进，但无论是第五师团还是第十师团，其执行的任务就是“滞留台儿庄一带的中国军队”，并“吸引中国军队主力东援”，而这正是日军徐州会战第一阶段的作战目标。只是，两个师团在“滞留”作战中所付出的代价，竟然比之前攻占任何一处要地时还大，日军官兵由此认为，环绕着台儿庄的那片地域，无疑是令他们“噩梦丛生的地方”。
与此同时，在徐州战场的南线，日军华中派遣军的两支先遣队推进顺利：第六师团以坂井德太郎的第十一旅团为基干组成的坂井支队，四月二十三日从安徽芜湖出发，二十四日占领和县，二十六日占领含山，三十日占领巢县，五月十一日占领庐州；第一〇一师团以佐藤正三郎的第一〇一旅团为基干组成的佐藤支队，四月二十四日从江苏东台出发，二十六日占领盐城，二十八日占领新兴，五月七日占领阜宁。以上两个日军支队向北推进时，没有受到中国军队的有力阻击。由此，在徐州主战场的东南方向，日军已对中国军队的侧背形成了威胁。
中国军队的将领们——包括蒋介石本人——仍旧认为南线的日军华中派遣军仅仅是在册应北线作战，对徐州有所图谋的是日军华北方面军。中国方面尚未弄清楚这样一个现实：尽管日军的徐州会战计划显示，主攻的是北线的华北方面军，南线的华中派遣军为助攻，但是，战争全面爆发已十个月，中国方面应该了解，对于日军陆军来讲作战没有谁主谁次的概念。此刻，在徐州战场上，南北两线的日军都认为自己是在主攻。
中国第五战区将要为偏重北线而忽视南线付出巨大代价。
五月初，日军终于看到了他们希图出现的战场态势：由于鲁南方向第五、第十师团的牵制滞留作战，中国军队的数十万大军已云集徐州附近。于是，日军从南北两线开始对徐州实施战略合围。
正值淮北大旱时节，许多河流都已断流，日军的机械化部队可以疾速推进。五月四日，集结在凤阳、蚌埠、怀远一带的日军第三、第九、第十三师团以及配属的机械化突击部队，在大量飞机的掩护下，一部沿着津浦铁路线西侧、主力则沿着涡河西岸开始向北挺进。在涡河一线，中国守军韦云淞的第三十一军因为防线正面过于宽大，被日军突破后不得不向西退却。周祖晃的第七军五月一日才由合肥调至涡河负责防守；同时，还接替了第三十一军在淝河北岸的部分防务。桂军官兵工事尚未修好，就遭到日军炮火的猛烈轰击。随后，第七军在日军步兵锋刃一般的强劲冲锋下弃守溃散。五日，日军突破了涡河两岸中国守军的阵地。第二十一集团军总司令廖磊急令第四十八军，在津浦路西侧以及涡河西岸，向疾速北进的日军发动侧击，以减缓日军强悍的攻击势头。但是，中国军队的瞬间侧击，在日军强大的火力压制下，根本无法收到任何成效。况且，日军也没有与中国军队纠缠作战的意图，日军的目标很明确，即完成对徐州的战略大包围。廖磊又急令刘汝明的第六十八军南下增援。刘汝明部五月三日才集结徐州，刚刚归属第二十一集团军指挥，西北军部队对增援桂军作战并不坚决，部队才走出徐州以南约五十公里，刘汝明见战场态势已不可能令他孤军南下，为避免被日军包围，第六十八军向西面的涡阳地区紧急收缩了。——至此，津浦路南段门户洞开，北进的日军华中派遣军有了直扑徐州的态势。
廖磊不得不下死令，命贺维珍的第一七三师在蒙城构筑起防御线，以迟滞日军北进的速度。
干旱的淮北突然下雨了，道路泥泞，夜晚伸手不见五指。第一七师副师长周元率部向蒙城开进的速度极其缓慢。蒙城是个小县城，城墙是单薄的土墙，周围开阔的麦田也不利于守城。中国守军五月六日晚赶到，仓促修筑起简易工事后，日军已经迫近。一〇三三团团长凌云上的部署是：蓝权的三营布防东门外附近的村庄，一部在东门内大街构筑巷战工事；李国文的二营主力为团预备队，控制在北城，一连则在北门外和西北角布防，面向涡河警戒；贾俊优的一营主力布防南门外，并在城外西郊构筑阻击工事；团搜索队七十余人，轻机枪两组十人，步枪和手枪队各三十人，于涡河北岸向龙坑方向警戒。八日，日军骑兵先遣队接近蒙城，遭到一〇三三团搜索队的袭击，日军在短暂的混乱后重新冲击而来。搜索队利用麦田作掩护，与日军对峙到黄昏。这时候，日军炮兵的气球升起来了，悬停在蒙城东门的上空，炮兵瞄准方位开始猛烈的炮击，炮击之后是步兵的冲锋。三营守军抵抗顽强，一直打到天黑，令日军毫无进展。天亮了，日军的炮火再次轰击东门，战机也飞临蒙城上空俯冲投弹。这一次向东门发起攻击的日军步兵中夹杂着十辆坦克，死守东门外阵地的中国守军伤亡达二百余人，最后被迫退入城内。同时，南门外阵地也在苦战后丢失。至此，蒙城城外阵地全部落入日军之手，城内的中国守军陷入重围。晚上，日军一面爬城墙，一面向城门袭击，除了有涡河天然屏障的北门外，蒙城其他三个方向的城门处均彻夜激战。凌晨时分，日军开始总攻，火炮、飞机以及直接抵近城墙的轻重火器组成极其猛烈的火网，蒙城的三面落弹如雨，硝烟弥漫，墙倒屋塌，日军从东面和南面倒塌的城墙缺口冲进来。关键时刻，团长凌云上亲自持重机枪向日军射击，终于把从缺口处涌入的日军堵了回去。日军整顿后再次发动攻势，工兵乘坐坦克冲击中国守军的工事，然后步兵依旧向残破的东门猛冲。中国守军兵力有限，外援无望，眼看着日军冲入城区，坦克沿着大街横冲直撞，守军官兵被分割成碎片。激烈的巷战中，三营营长蓝权阵亡，紧接着副师长周元阵亡。最终，蒙城中国守军。团官兵几乎全部牺牲，只有团长凌云上率十余名官兵冲出了日军的重围。
五月九日，蒙城陷落。
在徐州主战场的西南方向，日军也已位于中国军队的侧后。
李宗仁意识到了形势的严峻。
此刻，北线鲁南地区的中国军队被日军第五、第十师团死死牵制着无法解脱，而南线日军的第三、第九、第十三师团全速北进的目的无疑是对徐州实施包抄。因此，必须在北线日军急速南下之前，阻滞南线日军的推进速度，以解徐州被南北合围之忧。但是，中国军队主力之前已大军云集北线，此刻让任何一支部队南下，不但会遭遇南线日军的猛烈打击，且相对于岌岌可危的战场态势而言，都已显得为时过晚。
五月七日，日军华北方面军下达徐州会战作战命令：
一、第十六师团五月九日从济宁附近出发，击败当面之敌，首先迅速进入砀山、唐寨方面。
二、第十师团扣住当面之敌，随着作战的进展，准备向临城附近转进。
三、第五师团扣住当面之敌，随着作战的进展，准备向徐州东面地区前进。
四、随着第十六师团的前进，变更警备地区。
北线，鲁南战场完成牵制后，鲁西南的日军开始南下了。
九日，日军第十六师团从济宁出发向西挺进，当天渡过了大运河；配属该师团的第十四师团酒井支队，于十一日夜占领郓城。
南北两路日军合围徐州的战略意图已十分明显。
中国统帅部得到了如下确切情报：
据谍知：敌为攻占徐州，其华北方面军最高指挥官寺内寿一大将、司令官梅津美治郎中将、津浦路方面作战司令官稔彦王中将、胶济路方面作战司令官三毛一夫少将，均已在最前线之临城指挥作战。又平汉路方面作战司令官香月清司中将拟亲率第十四师团沿濮县渡黄河经菏泽到曹县，与津浦路以西之敌军相互呼应。又敌华中派遣军最高指挥官畑俊六大将及司令官冈村宁次中将同在蚌埠设临时指挥所，亲身督战。
日军的作战目的是一举消灭中国军队的主力。
但是，蒋介石的判断却出人预料，在日军对于徐州势在必得的情形下，他仍旧认为徐州战场上的日军是在“自取败亡”：
查日寇自鲁南屡败惊慌万状，近竟放弃晋绥江浙既得地位，仅残置小部扼守要点苟延残喘，而调集所有兵力指向陇海东段孤注一掷，以图幸逞，其总兵力合两淮鲁豫至多不过十五万，较之我军使用各该战场之兵力约为四倍以上之劣势，且敌之后方处处受我扰袭，补给不便，较之我之后方有良好交通线者，其补给及兵力转用之难易相去甚远。目下敌不顾其兵力之不足及战略态势之不利，竟敢采取外线包围作战，其必遭我军之各个击破而自取败亡殆无疑问。仰望忠勇将士明察彼我熟权利害，鼓舞所部以旺胜企图心各向任务迈进，击灭当面之敌以寒寇胆而扬国威为盼。
如果从军事上看，这封电报上的所有分析都很正确：兵力劣势的日军远离后方，孤军深入，绝对是在冒军事上的大不韪。可作为中国军队最高统帅的蒋介石应该明白一个严酷的现实，那就是日军之所以敢违军事常规，以劣势之兵力包围如此众多之师，且不顾后方坚决贸然挺进，也是出于对中国军队全面作战素质的判别。显然，蒋介石的意图是：在徐州战场上，中国军队能够对日军实施大规模的反包围，然后聚而歼之。这无疑是蒋介石一个人的自以为是。
身在战场的李宗仁，已经意识到中国军队所处的危境。他认为，如果每一支部队在战术和作战上，都具备完成战略和战役所赋予任务的能力和素质，台儿庄血战胜利后也不会让战败的日军重新组织起坚固的防线，以至于在鲁南战场上形成僵局，导致中国军队的主力被牵制在那里，而当淮南的日军开始北进，鲁西南的日军开始南下时，中国军队已无法调整战线分兵主力前去阻击。
为了落实自己的战略意图，蒋介石带着作战厅厅长刘斐和军令次长林蔚等幕僚飞往郑州。刘斐提醒蒋介石：鲁南部队在运河一带的防御，能否保持到主力部队对日军实施反包围作战的时候，还是一个问题；同时，南线日军的第一线兵力，苏北方向不过三千多人，淮北方向不过五千多人，但两路日军疾速挺进如入无人之境，因此，南线的中国军队能否击退淮北之敌然后再转身支持鲁南和鲁西南作战，确实很难说。但是，蒋介石坚持他的见解。他生怕李宗仁不贯彻他的意图，到达郑州后又声称要亲自去徐州指挥作战。——“我估计蒋的本意就是自己不想去，否则，他领着我们一道去就是了。”——因此，刘斐表示他和林蔚去就可以了，委员长不必冒这个险。蒋介石马上说：“你们去同德邻（李宗仁，字德邻）说，这个是敌人的大包围，不赶快想办法，几十万大军会丢掉的。你们还要向各级将领讲明白，要他们贯彻统帅部的命令。只要大家齐心，首先各个击破淮北、鲁西方面的敌人，再对鲁南转移攻势，胜利是有把握的。”
刘斐和林蔚去了徐州。
蒋介石还不放心，五月十二日，他又以训令的方式致电李宗仁：
一、国军决先击灭淮北及鲁西之敌。
二、鲁南方面在敌抽调兵力转用鲁西之情况下，除应以有力部队增强右翼防敌包围外，须即刻设法抽出三四师兵力位置徐州，为该战区的预备队，必要时用蒙城方面之攻势。
三、鲁南方面即决心取守势，于必要时可依运河逐次抵抗，至不得已时则固守徐州国防工事线，以获得攻势方面决胜之时间。
四、总之第五战区第一任务在击灭蒙城方面之敌，使全盘态势有利，否则保有鲁南阵地亦属无益。
希当机立断，速决实行具报。
此时，南线日军自蒙城出动，三天之内前行一百六十多公里。第十三师团进至永城，第九师团占领了百善，担任第九师团右翼保护的第十八旅团攻占了
在北线，日军第十四师团主力，五月十二日在濮城、杨集以南强渡黄河，直逼菏泽城下。菏泽守军第二十三师师长李必藩决心死守待援。日军对菏泽发起攻击，第二十三师官兵奋力抗击，日军突破中国守军的外围阵地后，菏泽陷入重围。日军调来重炮猛烈轰击城内，第二十三师官兵死伤惨重。最后时刻，第六十七、第六十八旅旅长信心动摇，率部后撤，致使菏泽城防瞬时崩溃，大批日军涌入城内。第二十三师参谋长黄启东率残部在城内与日军肉搏，寡不敌众却誓死不降，最后独自跳城自杀。李必藩师长身边仅剩下一个直属连和几名随从副官，直属连官兵顽强肉搏，杀开一条血路突围而出。李师长跑到距菏泽五公里的一个名叫曲只集的村庄内，在军用地图的空白处写下了一行字：“误国之罪，一死尤轻。愿我同胞，努力杀贼。”他为自己用人不当致使菏泽失守悔恨不已。——李师长在一块门板上平躺下来，举起手枪，朝自己的太阳穴扣动了扳机。
北线的另一支日军，中岛今朝吾的第十六师团，十一日主力自郓城开始南下，击退了中国守军第七十四师的阻击，占领金乡和鱼台。之后，第十六师团也组织起一支快速支队，不顾一切地急促南下，于十五日早晨抵达陇海线，炸毁了汪阁东面的三段铁路后，与华中派遣军的快速挺进队会师。
南北两路日军在陇海铁路会师，标志着日军对徐州战场上的中国军队的战略包围已经合拢。
为加强华北方面军在徐州会战中的攻击力量，日军大本营从关东军调来了混成第三旅团和混成第十三旅团，命其十五日到达战场配属第二军。至此，日军围歼徐州附近中国军队主力并占领徐州的会战计划已经完成大半的任务：以约六个师团部署于徐州以北，以约三个半师团部署于徐州以南，以连续的攻击行动将中国军队吸引滞留于徐州地区，而后以迅猛的迂回作战南北对进，切断陇海铁路。那么，对于日军来说，剩下的任务就是：向包围圈的中心——徐州发起突击，以歼灭中国军队的主力。
十六日，南线日军第九师团推进到距徐州咫尺之遥的萧县。
同一天，北线日军第十六师团占领唐楼，第十师团从沛县以东南下到距徐州只有六公里的地方。
李宗仁急令从鲁南战场下来的第一三九师前往阻击。该师在师长李兆瑛的率领下即刻向萧县前进，中国守军进入县城的当天，萧县城外的高地和城关已全部落入日军之手。为了不让日军快速靠近徐州，李宗仁又急令张自忠率第五十九军、第九十二军增援第一三九师死守萧县。但是，张自忠部受到日军的猛烈截击，根本无法靠近萧县。萧县四面被围，当日军步兵由北门冲入县城时，第一三九师粮弹俱绝，与外界失去了一切联系，师旅两级预备队均已用尽。守军官兵一边肉搏一边突围，李师长和石副师长均负伤，参谋长邓佐虞、副旅长吕汝爽、马骥德和团附陈芳荣以及营长李彦文、黄超云、李廷舟阵亡。
萧县失守，徐州战场上的中国军队深陷重围。
日军知道中国军队除了突围之外别无选择。
十五日，日军华中派遣军命令：
一、徐州东面敌主力开始总退却。
二、军与华北方面军协同向徐州缩小包围圈，将敌歼灭之。
三、第三师应急速开始行动，同时合并指挥第九师团的右侧支队，首先攻占宿县，接着冲进徐州，攻击驻在之敌。
四、第九师团除继续执行原任务外，须冲进徐州。
五、第十三师团应以主力迅速切断徐州至砀山大道，然后冲进徐州，攻击驻在之敌。
六、变更第九、第十三师团之间的作战境界为大吴集、穆集、卧牛山连接线，第十三师团与华北方面军之间不特别设置作战地区境界。
日军已经急不可待地要“冲进徐州”。
十六日，李宗仁下达了放弃徐州并全面突围的命令。
中国第五战区突围命令：
一、第二集团军、第二十二集团军及第五十一军、第六十军、第四十八军、第二十二军、第七十五军之第六师、第九十三师、第一三二师和第一四〇师为鲁南兵团，以孙连仲为总指挥，于学忠为副总指挥，守备徐州，掩护大军转移。
二、第二十军团（第一一〇师、第四师）及第二、第六十八、第五十九、第九十二各军，与第九十五师为陇海兵团，以汤恩伯为总指挥，刘汝明为副总指挥，由徐州西南转进亳县、柘城、太康、鹿邑、淮阳、涡阳一带。
三、第二十一集团军、第三十一军及第七十七军为淮北兵团，廖磊为总指挥，由宿县、固镇一带向太和、阜阳、颍上、凤台、寿县、正阳关之线转进。
四、第二十六、第二十七集团军为淮南兵团，以李品仙为总指挥，确保官亭、舒城、怀宁之线。
五、第二十四集团军为苏北兵团，以韩德勤为总指挥，仍确保淮阴、东海一带。
六、挺进军（第六十九军）应在费县附近鲁南山区经营根据地，进行游击作战。
抗战史上中国军队最大规模的突围行动开始了。
中国军队在自己的国土上寻找生存出路是有优势的。中原地区幅员辽阔，地势平坦，庄稼茂盛的田野里公路和土路密如蛛网，尽管日军南北两路来势凶猛，但毕竟兵力有限，在徐州附近形成的包围圈到处是缝隙和漏洞。第五战区的突围命令刚一下达，十分熟悉地形和道路的数量巨大的中国军队，在迅速脱离包围圈的强大动力支持下，从战场上的各个缝隙蜂拥而出。日军虽然下达了猛烈追击的命令，但洪流一般的中国军队在徐州战场的各个方向狂涌不止，以日军有限的兵力能够追得上哪一股又能堵住哪一支？
偌大的徐州战场上，庞大的中国军队转瞬间就没有了踪影。
日军目瞪口呆。
日军追上的仅仅是因负伤或生病掉队的中国官兵。他们在一名伤兵身上发现了一张第二十二军军长谭道源的名片，不禁大喜：“铃木快速部队二十日急袭在尹集的第二军司令部，军长谭道源中将被俘（负伤后死去）。这位军长像个武人，很出色。”实际上，这名伤兵是谭军长的副官。
最后撤离徐州的中国军队，是卢汉的第六十军。无法得知李宗仁为什么命令这群在台儿庄附近已经血战数天且伤亡严重的云南人来死守根本无法防守的徐州。李宗仁的要求是：为掩护鲁南大军突围，第六十军坚守徐州的时间越长越好。为此，李宗仁送来一份“徐州附近五千分之一国防工事设施要图”，又用徐州中央银行来不及搬走的小额钞票拨给第六十军二十二万元作为“三个月的伙食费”。
第六十军军长卢汉记述：
日军对徐州的包围圈越缩越小，陇海、津浦东南西北四面铁路线已被切断，敌机在市区整天投弹轰炸，我鲁南二十万大军又都涌到徐州，挤在徐州至宿县公路的狭长地带，各自夺路，这时，李宗仁亦已离开徐州……遵照明令，我率部队立刻急行军向指定的汪庄前进，预计五月十九日晨到达。这时来自西南方向的枪炮声隐约可闻。我遂决定派一八四师杨宏元团先到徐州西郊段庄一带布防，掩护友军撤退；然后将我军分为三个纵队，由张冲师长率领，向徐州以南大五柳集、屠家庄地区集结。我则偕部分参谋人员先至徐州，勘察地形，规划守卫徐州部署。我先到战区长官部，院内空无一人，军政机关亦早撤走。我失望之余，只好赶往九里山视察工事。我沿着阵地看了一周，只有十几处钢骨水泥筑成的机关枪掩体，而且布置在北面，东南西三方均无防御设施。我又离开九里山到徐州市区，这时敌军已攻陷萧县，敌人的炮火已打到徐州西郊。敌机终日轰炸，火光熊熊，行人稀少，交通要道已无大部队通行，唯有零星散兵向南奔跑，道旁负伤官兵则卧地呻吟。徐州东火车站附近的仓库及停置路轨上的列车中，弹药、粮秣、器材等物资堆积如山，正放火焚烧，浓烟滚滚。
卢军长终于在徐州郊外的一个小村庄里，找到了他的上司孙连仲——“他和他的卫兵已倚装待发。”卢军长急切地询问：如果第六十军死守徐州，增援的部队是哪支？什么时候才能抵达？所有的部队都已撤走，只命令第六十军固守，统帅部是否已决定进行反攻？第六十军死守多长时间算是完成任务？一问三不知的孙连仲只好说：“局势到这个样，你们军也跟随大部队之后撤退吧！”
第六十军没有固守徐州，虽然是最后突围的部队，但所幸大部分官兵冲出了日军的包围圈。
相比之下，倒是李宗仁的第五战区长官部的突围险象环生。
十七日晚上，日军的炮弹已经落在徐州市里，李宗仁转移到了郊外的一个村庄，但日军的炮弹竟然一路追着他打，其中的一发炮弹准确地落在了他的房屋顶上，所幸那一刻他不在里面，把他的传令兵炸死了。十八日晚，李宗仁和战区长官部的幕僚们开始乘火车突围。原计划火车抵达宿县后折向西，但才前行了几十公里便传来猛烈的爆炸声，有人报告说，前面的一座铁路桥被撤退的中国工兵炸断了，为的是不让日军追击过来。包括李宗仁在内，火车上的所有人开始下车步行，走了一夜才接近宿县，但坏消息随即传来：十九日晨，宿县已被日军占领。——在战区长官部开始突围时，李宗仁曾严令第二十一集团军总司令廖磊派出最有力的部队，死守宿县三天，直到长官部突围出去才能弃守。李宗仁以为这一重任只能交给他信任的桂军部队，然而，奉命死守宿县的第七军第一七一师师长杨俊昌，在日军第三师团与第九师团的联合猛攻下，不到一天就命令部队弃城撤退，导致战区长官部的突围之路被日军堵死。杨俊昌的理由是，第一七一师在上海血战后全部由新兵补充而成，奉命转进徐州战场，经过在淮南阻击日军北进的战斗，接到死守宿县的命令时，全师仅剩五百残兵。尽管他认为让这五百残兵坚守宿县“简直是胡来”，但还是执行了开赴宿县的命令。宿县是一个大县城，第一七一师的残兵难以布防四个方向，可是日军从四面包围而来。宿县的陷落，只是时间问题，而且不会超过一天。由此，除了杨俊昌认为应该孤注一掷死守外，第一七一师的其他将领都认为不如尽快撤走，以免被迅速全歼。杨俊昌知道违令的结果，最后时刻他说服自己的理由是：用他一个人的脑袋保住其他人的性命。——一九三八年十月，杨俊昌因违抗军令弃守宿县，被国民政府军事法庭判处十年监禁。
在距宿县六七公里处，李宗仁见到了南撤至此的汤恩伯。汤恩伯的军团不但仍有“数师之众”，且还有数门十五生（厘米）的大炮随行。汤恩伯问李宗仁要不要与他一起突围，因为他的部队“实力雄厚”，日军难以围歼。李宗仁则认为，让这支中国陆军中的精锐之师脱离战场至关要紧，而带着他的长官部必会形成拖累。于是，两人决定，汤恩伯的军团继续向西突围，李宗仁的长官部绕过宿县向东南突围：
我即亲率长官部一行千余人向东南前进。沿途皆有敌机跟踪轰炸，然在大平原之上，部队分散前进，敌机杀伤力甚小。越过津浦路以西地区后，某次吾人正在一大村落造饭休息，忽为敌侦察机发现。该机兜了个圈子即行离去。我知其情不妙，匆匆饭毕，即令全体人马离开该村。我们走了不及二三里地，突有敌轰炸机二十余架比翼飞来，一阵狂炸，该村落顿时夷为平地，而我辈竟无一人死伤，亦云幸矣……我们自东边绕过了宿州，足足走了一整天，抵达涡河北岸，与第七军来接的部队共一团人相遇。涡河桥梁、渡船皆毁，人、物渡河已感困难，随行汽车数十辆自然无法携带，乃悉数在河边焚毁。渡过涡河，进入第二十一集团军防地，才完全脱离了敌人的包围。
四月十九日中午，日军占领徐州。
日军对中国军队撤退的速度和技巧甚感惊愕，认为徐州会战的战果因此被大大打了折扣，折扣低到了作战计划预想的“一折”：
中国军的退却，实在巧妙，日军即或发现踪迹，在麦田中亦无法追及……中国军不但轻装，而且善走，同时所着服装与一般民众无异，故纵不及退却，亦可冒充一般民众，欲捕捉几不可能……况彼等之退却与一般大部队之退却方式不同，亦若蜘蛛之子，由四面八方各自分散，嗣在指定之安全地区集结……而且日军兵力仅五分之一，故对退却迅速之中国军，只能产生一折程度之打击而已。
徐州战场上中国军队的大撤退，从军事上讲是一次成功的行动。——数十万大军在战局不利的情况下转移脱离战场，不但破坏了日军与中国军队决战的计划，还使国家军队的主力得以保存，这也符合中国持久抗战的需要。
当日军意识到徐州附近战机已失后，迅速调整部署，把攻击方向转到了中国第一战区所属的豫东地区，目的是捕捉和歼灭陇海路东段的中国军队主力。
日军第十四师团从菏泽兵分两路，其先头部队于五月十七日抵进兰封以东的仪封附近，再次切断了陇海路。中国第一战区紧急调动宋希濂的第七十一军、桂永清的第二十七军，由兰封反击仪封；薛岳指挥的豫东兵团主力也由归德向西夹攻，把突进豫东的日军第十四师团的三个步兵大队、一个重炮旅团和一个野炮团阻击在了内黄、马庄寨和人和集一带。
在第五战区中国军队主力撤走后，徐州以西的豫东地区至少还存在着属于中国第一战区的近二十万主力部队，而土肥原贤二竟然指挥着他仅有两万人的第十四师团毫无顾忌地冲了进来，这不但使蒋介石大为意外，也令被如此蔑视的中国军队感到愤怒。——徐州会战后期，发生在豫东地区的未在计划之内的作战，被中国方面称为“兰封会战”。
蒋介石决定给土肥原贤二以重击。
蒋介石的信心来自这样一个前提：第一战区中国军队与冲进来的日军第十四师团的兵力对比几乎达到了十比一，而且第一战区的中国军队的主力均是精锐的中央军部队。
中国第一战区的作战构想是：由俞济时的第七十四军和李汉魂的第六十四军之一师组成东路军，自归德沿陇海路两侧向西攻击；以桂永清的第二十七军、宋希濂的第七十一军组成西路军，由兰封向东攻击；由孙桐萱的第三集团军和商震的第二十集团军组成北路军，在定陶、菏泽、东明、考城一线切断土肥原贤二的退路。为保证作战目标的达成，特别命令黄杰的第八军、郭忏的第九十四军之第一八七师以及杨光钰的第二十四师等部队坚守砀山和归德一线，阻击日军第十六师团由徐州西进增援。命令汤恩伯的第二军团、胡宗南的第一军等中国陆军之精锐主力集结豫东相机投入。
中国军队拟以二十万对二万的绝对兵力优势，彻底歼灭日军土肥原贤二的第十四师团。
二十一日，第一战区的中国军队兵分三路，开始夹击深入到内黄、仪封一带的日军第十四师团。王耀武的第五十一师和龙慕韩的第八十八师一部收复了人和集和内黄，两地的日军向西南方向混乱逃窜。同日，宋希濂的第七十一军向仪封的日军发动猛攻，迫使仪封日军向西北面的东岗头、毛姑寨方向逃窜。
中国军队随即发起了猛烈的围歼战。
战斗一开始，在毫无遮蔽的平坦的盐碱地上，第二十七军第四十六师官兵遭到日军炮火和机枪的打击，日军火力之猛，使得冲锋号刚一响起，第一三八旅二七五团二营五连排长陈猷和他身边的司号员瞬间便被打倒在地。副排长李勋率领官兵投出一波又一波的手榴弹，然后官兵们趁着烟幕冲到了日军的战壕边，战斗由此进入了残酷的肉搏战。
……一名日军端着三八枪向我猛刺过来。我本欲先发制人，但枪比敌短，说时迟那时快，日军的刀锋已近我身，我急忙向左一闪，刺刀从我右肘飘过，刀尖划破了我右下臂皮肉。我顾不了许多，忍住疼，用枪托顺势横扫过去。日军眼快，以左手接住我的枪，用力一拖，我顺势一压，双方都脚失重心，同时倒地，在地上扭打一团，谁也不愿松手。这时，另一日军欲刺我的后背，但刚一举枪，就“呃”了一声倒下了。我回头一看，是机枪手周天禄砸死了该敌。接着，老周身子一转，冲着被我压在下面的日军一脚踢去，同时用枪托将该日军砸得脑浆崩裂。我刚站起，只见周天禄如闪电一般，抡起机枪左右开弓，勇猛异常，顿时就砸死了六个日军。周天禄是河南信阳人，二十五岁，农民出身，为人忠厚，力气很大，能双手同时举起两个成人，是我连第一大力士，平时我俩感情较好。这时，他虽身负轻伤五处，但毫不在乎。十余分钟后，我连毙敌八十余名，剩下的日军仓皇逃跑。
战斗持续到下午，第一三八旅已经拼得所剩无几了。阵亡者中有一名学生出身的士兵名叫费精进，日军的刺刀从他的前胸刺穿到后背，他的刺刀也刺进了日军的腹部，双方的刺刀就这样留在了对方的身上。旅长马威龙对官兵作战勇猛很满意，亲手写了两张嘉奖令，一张是因五连坚守阵地，还捉了一名日军俘虏，给予褒奖；另一张是论功行赏，中尉排长王永福提升为上尉连长，上士副排长李勋提升为少尉排长。大家一致推荐勇猛的大力士周天禄负责保卫旅长的安全，马威龙高兴地接纳了。可是，在接下来的战斗中，排长李勋负伤，当他被抬到刚刚收复的罗王车站时，碰见了守着一副担架的周天禄。周天禄说，他和旅长一起上前沿时，旅长被炮弹炸倒了，除了一条大腿外，全身都被炸烂了。在放着马威龙旅长遗体的担架旁，排长李勋和大力士周天禄抱头大哭。
中国军队相继夺取了毛姑寨、杨楼等据点，日军向西逃窜的路已被封堵。土肥原贤二把第十四师团主力集中起来，拼死向杨固集、双塔集一带猛冲。连日苦战后第二十七军抵挡不住，溃败下来的队伍潮水般地向西涌去。——“桂永清知道自己的部队是控制不住了，如果丢了兰封，他的责任很大，便匆匆地写了一张字条给第八十八师师长龙慕韩，命令他率所部固守兰封。”而桂军长本人，则是“一口气就跑过了罗王车站”。
消息很快传来：兰封在几乎无人防守的情况下被日军占领。
兰封的失守，至今仍是无法弄清究竟的一件战争往事。有人说是第八十八师师长龙慕韩擅自撤离所致，但龙师长说是桂永清命令他们向第七十一军靠拢，他将兰封城防交给第三十六师工兵连后，部队才移防的。——尽管第八十八师师长龙慕韩被押解到武汉枪毙了，但兰封的失守最终导致中国军队的作战计划严重受挫。
坏消息接踵而至：在豫东战场的东面，为解救土肥原贤二的第十四师团，中岛今朝吾的第十六师团正向西突进，想把中国军队包围第十四师团的包围圈打开一个缺口。日军第十六师团的攻击方向是砀山。负责防守砀山的黔军第八军第一〇二师，在日军的猛攻下，师长柏辉章竟然下令放弃阵地西撤，砀山失守。
兰封和砀山的失守令中国统帅部大为震惊，因为这不但导致了围歼土肥原贤二的计划泡汤，反而还会令战局演变成日军的两个师团合拢后直取开封和郑州。二十四日，蒋介石任命薛岳为第一兵团总司令，统一指挥胡宗南、李汉魂、俞济时、宋希濂、桂永清各部，立即发动反攻夺回战场主动权，彻底歼灭日军第十四师团。愤怒的蒋介石告诫各位将领：“此次兰封会战，关系整个抗日战局，胡、李、俞、桂、宋各军，应遵照薛总司令所示任务，务于本月二十五日午后六时三十分全线总攻，务须于明二十六日拂晓前将兰封、三义寨、兰封口、陈留口、曲兴集、罗王寨地区之敌歼灭。如有畏缩不前、攻击不利者，按律严惩；如战役中建殊勋或歼敌俘获最多者，当特予奖给。希饬所部凛遵勿违为要。”
第一战区司令长官程潜把他的指挥部设在了开封，并制订了围歼土肥原贤二的作战计划：胡宗南指挥第一军、第九十军和邱清泉的战车营，配属重炮兵营，攻击兰封以西的曲兴集、罗王寨；朱怀冰的第九十四师在黄河北岸截击日军的增援，切断其补给线；俞济时的第七十四军、孙桐萱的第三集团军第二十师，以及新编第三十五师、第一〇六师等部，攻击兰封北面的三义寨；第七十一军攻击兰封；第六十四军攻击兰封西面的罗王车站；商震部守备开封至郑州之间的阵地。
二十五日凌晨，中国军队各部队进入了攻击位置。
本该寂静无声的战场，此时却云集了大批渴求观战的中外记者。中国陆军第六十四军，军长李汉魂，粤军余汉谋集团的主力，其任务是攻击罗王寨以夺取西侧的罗王车站。跟随在李军长身后的外国记者分别来自路透社、哈瓦斯社、合众社等国际著名通讯社，还有一位名叫阿特丽斯的美国女记者。二十五日午后，攻击准时开始，中国军队的炮火至少在这个方向上压制了日军，日军的阵地被轰击成一片火海，中国官兵随即发起了不顾一切的冲锋，终把罗王寨内的日军压到了寨外。日军拼死反击，罗王寨阵地失而复得，得而复失，拉锯战进行得十分惨烈。——“傍晚，残阳如血，硝烟随晚风荡漾，指挥所每个人凝视战场情况的惨烈，莫不怒发上指，后续部队川流涌上，视死如归。以我七年来培训出来的广东子弟兵，一旦血染沙场，我固涕泗如泉，而中外记者亦不禁暗弹热泪。”第六十四军再次向罗王寨攻击时，胡宗南派来了重炮助战，中国军队终于夺回了罗王寨和罗王车站。进入罗王寨的记者们开了眼：中国士兵缴获了一把日军战刀，经过考证，竟然是土肥原贤二的佩刀，可见土肥原贤二本人曾在寨内。土肥原贤二的这把佩刀，当场就把一叠二十枚的铜元一斩两半，可见其钢质精纯，锋利无比。
与此同时，宋希濂指挥第七十一军反击兰封。第八十七师负责攻击东北面，第八十八师负责攻击西南面——八十八师原师长龙慕韩因丢失兰封已被押解武汉，师长由宋希濂兼任。兰封城不大，土墙也不高，四周地势平坦不易接近。中国官兵事先挖了壕沟，以便前进时掩护，二线部队还捆扎了大量的梯子用以登城。二十六日，战斗开始后，中国官兵发起的数次攻击都没能成功，以致兰封土墙内外双方伤亡枕藉。黄昏，宋希濂命令火炮抵近射击，终于将土墙打开了缺口，中国军队由此获得了立足点，第八十八师自南门爬了进去，第八十七师也冲进去了部分官兵。双方在小城内彻夜巷战，凌晨时分日军弃城逃跑。士兵们把在城内缴获的一匹骏马送给了军长宋希濂，并为骏马取名为“土肥原”。
罗王车站以及兰封相继被攻占，陇海铁路线由此畅通，滞留在归德附近载有中国军队重要军用物资的四十二列火车得以全部西撤郑州。
土肥原贤二早已意识到，中国军队要吃掉他的第十四师团，他已经深陷十倍于己的众兵重围中，突围的方向无从判定，苦战已令部队伤亡巨大。更严重的是，他的后方联络线被完全切断，弹药粮食补给只能依靠空投，师团的机械化兵器，特别是汽车和坦克，在没有燃油的情况下只能拋弃。困境中的土肥原贤二作出了唯一可行的决定：攻陷兰封，然后把主力转移到三义寨、曲兴寨、罗王寨这三个据点内，死守待援。土肥原贤二之所以选择这三个村庄，是因为它们都在黄河边上，可以从水路得到接济。但是，攻占兰封不久，兰封即被中国军队夺了回去。目前，三个据点中，只有三义寨仍在手里。——试想一下，如果侵华战争的策划者之一、著名的特务机关头子、日军精锐的第十四师团师团长土肥原贤二被中国军队或俘虏，或击毙，或在最后的绝望之时只能按照日本军人的标准程序剖腹自杀，那将在中日战争史上留下一个怎样的谈论不尽的话题？
可是，中国军队围攻土肥原贤二所在三义寨的作战，从经过到结局都令人不可思议。
二十八日，蒋介石发来手令，称此战如不能取得成效，将是一个“千古笑柄”：
兰封附近之敌，最多不过五六千之数，而我以十二师兵力围攻不克，不仅部队复杂，彼此推诿，溃败可虞；即使攻克，在战史上亦为一千古笑柄。务请毅然决心，速抽调六师以上兵力在侧后方做预备队，而指定李铁军、李汉魂、俞济时三军负责扫清当面残敌。即使被突破数点，冲出包围圈外，我可与之野战，则较为得计。此时东路敌军必于两三日内向西急进，由周口直出许昌、郑州，则后方在在堪虞。若我军不早为计，则如此大兵群集于狭小区域，且左限黄河，歼灭甚易。务希当机立断，即于本晚实施，一面整理战线，一面抽调部队，以备万一。并以此意转薛伯灵（薛岳，字伯灵）、胡宗南，决心遵行，勿稍延误。
但是，三义寨里的日军凭借战车、骑兵和飞机的支援，不但死守不退，而且还不断出寨反击。二十八日，日军的反击方向是第二十七军的阵地，桂永清又一次“独断命令各部队向杨固集、红庙间地区转移阵地，沿途拋弃无线电机及武器弹药，情形颇为混乱”。最终，围攻三义寨的中国官兵伤亡达两千五百余人，虽然攻克了柴楼、蔡楼、十八寨、何寨、薛楼等小据点，可直到二十九日仍没有攻克三义寨。
就在这一天，蒋介石最担心的事情发生了：在兰封战场的东南面，负责解救土肥原贤二的日军第十六师团，攻克了陇海线上的豫东要地归德（今商丘）。
日军第十六师团和混成第三旅团，从砀山向西突击，于二十六日攻占虞城，之后开始攻击归德的外围阵地。负责防御的黄杰的第八军当晚就撤到了归德郊区。二十七日，第一战区司令长官程潜电令黄杰：死守归德，在兰封之敌最后解决之前，必不能放弃。但是，黄杰根本没有执行命令，于二十八日擅自率部退向柳河和开封，只留下第一八七师守朱集车站和归德城。二十九日拂晓，第一八七师师长彭林生也率部撤走，归德随即变为一座空城，致使日军未经作战就占领了该地。
归德的丢失使得战局瞬间转变：准备围歼日军第十四师团的作战，因侧背受到日军第十六师团的威胁，中国军队不得不转为守势，且须立即调兵阻击日军第十六师团的进攻。同时，在战场的北面，日军混成第四旅团正准备强渡黄河，与近在咫尺的第十四师团会合。更严重的是，日军第十师团配属混成第十三旅团，攻占了豫皖交界处的涡阳和亳州，正向豫东急速包抄而来。——豫东地区的中国军队已处在被日军反包围的态势中。
五月三十一日，中国第一战区做出了全面撤退的决定。
一场兵力占据绝对优势、战场态势极其有利、势在必得的战役，结局竟然是全面撤退。
蒋介石所担忧的“千古笑柄”成为了现实。豫东战场上的中国军队主力开始迅速向西转移。
在是否向中国军队实施猛烈追击并扩大占领区的问题上，日军大本营与华北方面军再次发生争执。十九日，日军大本营明确指示，追击行动如“越过兰封、归德、永城、蒙城、正阳关、六安一线进行作战，须经批准”。——大本营的命令让日军华北方面军极其愤怒：在徐州作战之前，曾向大本营提出，将来攻击武汉时，希望把作战任务交给他们，因对武汉的攻击应从郑州方向开始。但是，日军华北方面军很快就得知，大本营在制订武汉作战计划时，根本没把郑州方向列入作战范围内，这让华北方面军感受到了蔑视和冷落。在徐州会战中，本来按照作战计划，也应由华北方面军夺取徐州，但竟然被华中派遣军的第十三师团抢先一天占领，再一次让华北方面军颜面大失。因此，这一次，华北方面军决定不再顾及大本营的限制，命令第五、第十四、第十六、第一一四师团对西撤的中国军队实施猛烈追击，一直追到平汉线为止。
六月三日，日军第十六师团攻占杞县、通许和陈留；四日，日军第十四师团攻占兰封后向西进击，与第十六师团一起合攻开封城。中国守军第一四一师，在师长宋肯堂的率领下拼死抵抗，无奈日军兵力和武器都占据优势，六日开封城陷落。随后，日军沿陇海铁路直扑中牟，第十六师团占领尉氏和扶沟，第十师团占领柘城。尽管薛岳命令死守中牟县城和车站，宣称谁再擅自撤退依法严惩，但还是有将领临阵溃逃。第六十四军军长李汉魂致电战区司令长官程潜，电文中充满了愤怒与无奈：“（第一八七师）团长张鼎光于二日守杞县猪皮冈时，擅自撤退；该师参谋长张淑民屡次煽动退却，复敢弃职潜逃；旅长谢锡珍首先退出猪皮冈，未经报告师长，即便借口收容，擅自乘车南下；叶赓常旅长，当睢县之战时，突告失踪，事后闻已易服赴汉口。”十日，日军第十四师团前锋部队炸毁了郑州以南的平汉铁路；十二日，日军第十六师团派出的挺进队，炸毁了新郑东南六公里处的京汉线铁路桥。
由开封、中牟至郑州，仅七十公里的距离。
日军战机开始轰炸郑州，“自朝至暮，未稍间断”。
郑州已处在日军第十四师团与第十六师团的夹击态势下。
郑州是中国中原重镇，平汉铁路与陇海铁路的交会点。一旦郑州被日军占领，不但平汉、陇海两条重要的铁路线将被切断，更重要的是：一、日军可沿陇海线西进，攻取洛阳和西安，进而窥伺汉中，逼近中国整个抗战的大后方西南；二、日军的机械化部队可以沿平汉铁路线向南长驱直入，威胁当时中国的政治和军事中心武汉。为此，中国统帅部的最后决定是：掘开黄河大堤，阻止日军前进。
这一惊人的决定，并非临时起意，而是酝酿甚久。
据中国第一战区参谋长晏勋甫回忆，早在一九三五年，中国方面制订未来对日作战腹案时，就已考虑到一旦日军逼近郑州可以采取的应对方案：其一是把郑州付之一炬，其二便是掘开黄河大堤。
一九三七年秋，蒋介石的德国军事顾问法肯豪森，曾建议用黄河作为“最后战线”，决堤造成“人工泛滥”以遏制日军攻势。一九三八年四月，陈果夫致函蒋介石，建议在河南武陟县境内掘开黄河北堤，目的是在日本人用决堤的方式阻挡我军之前，我方抢先选择合适的地点决堤以使日军置于“危地”。徐州失守后，利用黄河水阻挡日军的建议被再次提出，第一战区司令长官程潜认为，也只有决堤才能让中国军队“渡过此种难关”。决定得到了蒋介石的口头批准，但程潜深知此举后果严重，又正式发电请示，得到了蒋介石的复电批准。
黄河，中华民族的母亲河。
黄河孕育了悠久灿烂的中华文明，也因特殊的地理原因千百年来不断地溃决改道。黄河两岸，沃野千里的滚滚麦浪是它的赐予，连年不断的泛滥洪水也是它的面貌。只是，千百年来，黄河两岸的百姓绝不会想到，这条滔滔大河竟然还有一种军事用途。
决堤任务交给了刘和鼎的第三十九军，决堤地点选择在中牟县的赵口和郑县的花园口两处。黄河河堤，为防范泛滥连年修筑，以致高高耸立在河岸之上，无论是赵口还是花园口，河堤都宽达八米以上、高在十米以上，竟然使河堤本身成为坚实的公路。为此，中国统帅部专门派工兵专家王果夫对决堤进行设计和指导，在布置部队进行伪装和施工的同时，要求所有地方政府机构对附近的农民进行迁移和救济。
在赵口执行决堤任务的，是第三十九军第五十六师的一个团，这个团六月四日凌晨开始作业，上级限定的时间是次日凌晨前放水。但是，赵口的河堤土质多沙，狭窄的掘口随挖随塌，炸药对沙质土壤效力甚微，沙土飞溅起来仍落于原处，因此到了限定时间挖掘仍没完成。心情焦灼的蒋介石怕决堤官兵心有顾虑，亲自打电话给刘和鼎军长：“这次决口有关国家民族命运，没有小的牺牲，哪有大的成就。在这紧急关头，切戒妇人之仁，必须打破一切顾虑，坚决干去，克竟全功。”第二天，第二十集团军总司令商震亲自到赵口监督，并加派了一个团协助挖掘，可直到七日下午仍旧没有成功。
日军已逼近中牟县的白沙镇。
这时，有人向商震建议，既然赵口河堤难以操作，为尽快完成任务，可集中力量在赵口以西的花园口决堤。花园口决堤任务交给了蒋在珍的新八师负责。在花园口，由于当地农民对决堤有抵触情绪，于是新八师把农民们赶走，选出八百名强壮士兵，分成五组昼夜轮流掘堤。坑道掘好后，炸药放置在数十口大水缸里，深埋之后引爆。九日凌晨，经过爆破，花园口黄河大堤被掘开，有水流出但仅是涓涓细流，远未达到一泻千里的程度。于是，蒋在珍师长请求调重炮打宽缺口。在一名炮兵连长的指挥下，重炮一连发射了数十枚炮弹，缺口被轰开了两丈有余。滔滔黄河水汹涌而出，大堤在湍流的冲击下再次垮塌，加上上游连降五天大雨，黄河水持续暴涨，从花园口决堤处涌出的河水与赵口涌出的河水汇成了滔天浊浪。
黄河水沿着贾河汹涌南下，贾河和涡河流域的乡村和城镇顿成一片汪洋。十四日河水抵达尉氏，十六日河水抵达鄢陵和扶沟，十八日河水抵达西华、太康和淮阳，二十日河水抵达周口，然后向着安徽境内的太和、阜阳席卷而去，进入淮河后，狂泻千里冲进洪泽湖和大运河，一路将淮河两岸完全淹没，蚌埠和宿县一带成为泽国。
滚滚黄河水恣肆于豫、皖、苏三省，形成了近五十万平方公里的浑黄水障。日军第十四、第十六两个师团被漫无边际的黄水困住了。第十四师团的两千人被困在中牟县城里，华北方面军不得不派出一个工兵联队和六个工兵中队，携带着大量的舟艇前往救援。第十六师团第三十旅团被黄水隔离在新郑以南地区，日军官兵只能利用门板等简易工具逃生。深陷黄水中心地带的第十六师团主力，大批官兵被洪水卷走淹死，车辆、火炮和坦克都被淹没在大水中，那些还活着的士兵饮水和食物断绝，有的爬在草屋顶上随着泛滥的河水漂流，有的攀在树梢上等待着救援。华中派遣军只好出动临时航空团的轻重轰炸机，“全力以赴援助第十六师团方面的补给”。
日军攻击郑州的计划中止了。
花园口决堤，使豫、皖、苏三省四十四个县市约六千万民众受灾，两千余万百姓流离失所，中国中原地区的上千万亩良田被淹没。对于被迫掘开黄河大堤，中国军队的将领们心绪复杂。参加掘堤的第三十九军参谋处处长黄铎五，目睹了当地百姓突遇的灭顶之灾：
当局虽然也有安置居民的计议，实际徒托空言，到时只不过乡、保长们催促迁移罢了。仓促迁移，谈何容易，故迁徙者寥寥无几，一转瞬间，无情的洪流滚滚而来，哪里逃避得及。有的扒上屋顶，有的攀登树梢，一时嚎哭呼救之声杂成一片。过了两天，我陪同长官部派来的人视察黄泛情况，那一望无际的浪涛中，只能见到稀疏寥落的树梢在水面荡漾着。起伏的波浪卷流着木料、用具和大小尸体。孩子的摇篮随着河水漂浮，还可以断续地听到啼哭声，全家葬身洪水者不知凡几，甚至有全村、全族、全乡男女老幼无一幸免者。
花园口决堤，破坏了日军企图南北两路夹击武汉的战略，基本上使南北两路日军仍旧处于隔绝状态，为武汉保卫战赢得了宝贵的时间。此后，在长达四年的时间里，日军只能隔着黄水泛滥区与中国军队对峙，这从大战略的格局上也有助于中国持久抗战的目的。但是，后来的战争进程表明，决口黄河的行动，仅仅起到了暂缓紧张局势的作用，并未给日军造成致命的打击，特别是没有严重损耗日军的有生力量。滔滔黄水过后，郑州和武汉仍然相继陷落，这说明“以水代兵”并不能彻底阻敌，更不可能就此赢得战争。
中日两军隔黄泛区形成对峙，标志着徐州会战遂告终结。
徐州会战是继淞沪会战、太原会战之后，中国战场上的又一次大会战。会战历时四个多月，双方均投入数十万兵力。日军虽然打通了津浦线，扩大了占领区，但没能实现消灭中国军队主力和挫伤中国抗战意志的目的。中国军队的作战，再一次向全中国乃至全世界彰显了不惜一切抗击日本侵略者的坚定决心。
徐州会战，中国军队投入兵力约六十万人，伤亡官兵达十万以上；日军投入兵力约二十四万，伤亡近三万人。
中国北方的大片国土，被滔滔黄水所覆盖，从此“黄泛区”成为一个专用名词。在战争过后的数十年里，黄泛区的善后工作一直持续，但那片广阔的土地所遭受的战争巨创始终没有平复。
我是一个大丈夫，
我情愿做黄河里的鱼，
不愿做亡国奴！
亡国奴是不能随意行动啊！
鱼还可以作浪兴波，
掀翻鬼子的船，
不让他们渡黄河！
不让他们渡黄河！
这首歌的名字叫《黄河之恋》。
黄河，千百年来承载了中国人太多的爱恨情仇。
萦绕在中国人心头的悲戚还在于：鬼子过不了黄河又能怎样？北方沦陷的国土难道不要了吗？在这个世界上哪一条河流能把善良与邪恶彻底隔离？只是，一九三八年盛夏，中国人能够做到的是：不让鬼子过黄河！