徐州会战进行期间，国民政府军事委员会根据当时的情况及未来可能的发展，判断日军“最近之企图，在先求打通津浦线已甚显然，惟敌人打通津浦线后，当以郑州及武汉为其作战目标”。同时，还判断日军“侵袭郑州及武汉之路线”，可能性最大的力“沿陇海线西进图取郑州，以断我平汉线之连络，同时安阳方面之敌沿平汉线南下，以夹击黄河北岸之我军”。因而，在1938年5月1日，制定了《国军作战指导方案》，决心“以阻止敌打通津浦路之目的，在鲁南集结相当限度的兵力，行攻势防御，但敌如由国内大举增援至兵力绝对优势时，刚应避免决战，逐次抵抗，以消耗敌之战力。同时在武汉及郑州以西集结兵力，准备诱敌深入与之决战”。并决定“集中20个师以上兵力于武汉外围及核心”，“集中约15个师于陇海路郑州以西地区”。
1938年5月19日徐州失守后，第五战区部队先后与日军脱离接触，转移至安徽、苏北等地。日本大本营认为徐州会战基本结束，为“扩大徐州会战的战果，要求侵华日军停止于兰封（今兰考）、归德（即商丘）、永城、蒙城联结线以东”。其实，华北方面军早在进入徐州的19日夜，就已下达了向西扩张战果的追击命令，令第2军进占商丘、永城一带，令第1军第14师团协助第2军进攻商丘。第2军部署第16师团配属混成第3旅进攻商丘，部署第10师团配属混成第13旅进攻永城。但是第1军没有按照方面军的命令行动。早在16日，方面军就曾令第14师团向商丘方向前进，协助第2军攻击商丘。这是第二次重申，第1军依然命令第14师团进攻兰封。此时，正与中国第一战区宋希濂之第87军在内黄附近激战。第一战区司令长官程潜，为将突出的日军第14师团歼灭于内黄、仪封、民权之间，命第29军团军团长李汉魂指挥第74军、第64军第155师为东路军，由而丘西进；命第27军军长桂永清指挥第71军为西路军，由兰封东进；命第3集团军孙桐萱部及第20集团军商震部为北路军，在定淘、菏泽，东明、考城（今兰考东北烟阳）附近，切断日军退注黄河北岸的通路；同时，令第8军军长黄杰指挥第8军、第64军第187师及第24师等部，坚守砀山、商丘，阻止由徐州沿陇海路西进的日军。
5月21日，第一战区部队开始向日军第14师团发动进攻。经激烈战斗，第74军第51师及第71军第88师1个旅收复内黄；第71军第87师收复仪封。5月23日，第71军及第74军又夺回西毛姑寨、杨楼、和楼等村庄，给日军以沉重打击。日军第14师团集中力量向杨堌集、双塔集地区攻击。第27军阵地被突破，桂永清率领所属部队退向开封、杞县，令第88师接替第106师防守兰封。而第88师师长龙慕韩在桂永清退走后，亦于23日夜擅自弃城逃走，致日军于24日不战而占领陇海路上的战略要点兰封。此时，据守砀山的第8军第102师在日军猛攻下，师长柏辉章下令放弃阵地西逃。日军第16师团于24日占领砀山。
军事委员会对兰封的轻易失陷，大为震惊。蒋介石于24日电令第一战区，命第19集团军总司令薛岳指挥俞济时第74军、李汉魂第64军、宋希濂第71军、桂永清第27军，由东向西；命第17军团长胡宗南由西向东，包围兰封、罗王寨、三义集、曲兴集一带的日军第14师团，于25日开始进攻。同时，还告诫各军将领：“此次兰封会战，关系整个抗日战局，胡、李、俞、桂、宋各军，应遵照薛总司令所示任务，务于本月25日午后6时30分全线总攻，务须于明26日拂晓前将兰封、三叉集、兰封口、陈留口、曲兴集、罗王寨地区间之敌歼灭。如有畏缩不前，攻击不力者，按律严惩。”
5月25日，薛岳指挥豫东兵团对日军第14师团发起猛攻。当晚，第71军夺回兰封车站。26日，第74军夺回罗王车站，第71军猛攻兰封外围日军阵地。27日，第64军攻占罗王寨，第71军扫清外围据点，收复兰封。日军第27旅团残部逃去三义寨。罗王车站和兰封的收复，使陇海路恢复了通车，被隔离于商丘附近的42列满载物资的火车遂得以撤至郑州。日军第14师团被豫东兵团压缩、包围于三义寨附近。但当日军于28日向第27军阵地反击时，桂永清又一次“独断命令各部队向杨堌集、红庙间地区转移阵地，沿途抛弃无线电机及武器、弹药，情形颇为混乱”。
军委会对豫东各部队未能在限期内攻歼兰封附近日军和第一战区的部署有所不满。5月28日，蒋介石下达手令：“兰封附近之敌，最多不过五、六千之数，而我以12师兵力围攻不克，不仅部队复杂，彼此推诿，溃败可虞，即使攻克，在战史上亦为一千古笑柄。务请毅然决心，速抽6师以上兵力在侧后方作总预备队，而指定李铁军、李汉魂、俞济时3军，负责扫清当面残敌。即使被敌突破数点，冲出包围圈外我可与之野战，则较为得计。此时东路敌军必于二、三日内向西急进，由周口直出许昌、郑州，则后方在在堪虞。若我军不早为计，则如此大兵群集于狭小区域，且左限黄河，歼灭甚易。希当机立断，即于本晚实施。一面整理阵线，一面抽调部队，以备万一。并以此意转薛伯灵（薛岳）、胡宗南，决心遵行，勿稍延误。”第一战区当即从东路军中抽出第87、第88，第155及第61师，由李汉魂指挥，星夜转移至杞县、太康作总预备队；令攻击三义寨地区日军第14师团的各军、师、由薛岳统一指挥，迅速调整阵线，并以有力一部，固守兰封附近国防工事，准备对东作战。
日军第10师团混成第3旅，5月28日，正向亳州、涡阳进攻中；第16师团及混成第13旅团，26日攻占虞城，同时向商丘外围阵地进攻。当夜，黄杰第8军退至商丘郊区一带。27日，程潜电令黄杰，务须死守商丘，在兰封地区日军被击歼前，不得放弃。但黄杰根本不执行战区司令长官的命令，竟于28日擅自率第40、第24师退向柳河、开封，将第187师留防朱集车站和商丘。29日拂晓，师长彭林生率第187师退走，商丘要点又为日军第16师团不战而占领。商丘的失守，严重地威胁了进攻日第14师团的薛岳军之侧背，第一战区被迫再一次调整部署。5月29日晚下达命令，令第102、第187师在睢县、宁陵附近占领阵地，竭力迟滞沿陇海路西进日军的前进；令第87师开太康、淮阳，第88师开龙曲集，第61师开杨集，第58师开杞县，占领要点，组织防御；令第155师集结于孙寨附近；令俞济时指挥第20、第51师、新编35师与桂永清第27军（第46、第106师）、胡宗南第17军团（第1、第36，第78师）继续包围三义寨、曲兴集地区的日军，改取守势，待敌窜动，举全力歼灭日华北方面军团第1军第14师团被包围于兰封地区，陷于苦战。5月28日下令，命“第2军尽力以更多的兵力，不失时机地逐次向开封东南地区进攻”。第2军当日命“第16师团（配属混成第3旅）确保归德及其要点，主要从杞县方面击败第14师团当面之敌；第10师团在继续执行现在任务（进攻永城）的同时，准备以有力一部紧急派往杞县方面；混成第13旅团占领涡阳后，即转隶于16师团”。接着，30日又将第10师团濑谷支队配属给第16师团，以加强其进攻能力。至5月31日，日军第10师团攻占涡阳，亳州，第16师团进至杞县东南。
第一战区根据形势的发展，认为，不仅由徐州西进的日军已加强了力量，而且黄河北岸的日军（混成第4旅团）也正经封丘、贯台组织强渡，企图增援被困于兰封地区的第14师团。豫东方面的各军帅，数日来激烈战斗，伤亡较大，已开始处于不利地位，于是决定，令“豫东、鲁西作战军，即向西转移”。5月31日，下达《战区兵力转移部署方案》。其方针是：“避免与西犯之敌决战”，“主力向平汉线以西地区转移”。主要内容力：令商震指挥第32、第37军及新编35师，万福麟指挥第53军、新编8师，彭进之指挥第70军、第45师，分别防守汗封郑州、汜水巩县和洛阳渑池地区黄河南岸，绝对阻止日军渡河；令开封、郑州、许昌、郾城、驻马店、周家口，准阳、沈邱、商水各地驻防部队，尽力迟滞、消耗日军兵力，掩护主力转移；令石友三、曹福林等在鲁西，豫东进行游击作战，袭扰日军，使其西进困难；令宋希濂军、胡宗南军团、李汉魂军、桂永清军、黄杰军、俞济时等中央嫡系军队，分别向巩县、洛阳、泌阳等豫西及豫西南地区转移。薛岳于6月1日又下达行动命令，要求“各军派出之战场掩护部队，须沉着应战，努力抵抗，迟滞敌军，确实掩护我主力转移之安全”；还规定“孙桐萱、商震两总司令所部，应俟我主力军转移完毕，再于6月3日转移”。
日本大本营5月29日决定追击行动，停止在兰封、商丘地区，命令：“未经批准，不许越过兰封、归德、永城，蒙城、正阳关、六安一线进行作战”。但华北方向军根本不听大本营的命令，于6月2日将第14师团配同给第2军，令其向兰封以西追击，并令其以一部兵力，迅速挺迸，切断平汉线。
6月3日，日军第16师团攻占杞县、通许，陈留，新35师师长王劲哉放弃兰封。4日，本已陷于被围困境的日军第14师团占领兰封后，继续向开封进攻。开封守军为第141师（欠第4旅，附税警旅）。5日夜，日军开始攻城，6日凌晨1时许，宋肯堂即率第141师弃城退走，开封失陷。此时，日军第16师团已占领尉氏、扶沟，第10师团已占领柘城。薛岳致电商震：“宋师擅自撤出开封，即令固守中牟县城至中牟车站之线……非奉命令，再敢擅自撤退者，决依法严办。”但事买上，高级将领畏死或无能，豫东会战中擅自撤退及私自逃走者大有人在。加主力军之第29军团第187师“团长张鼎光于2日守杞县猪皮岗时，擅自撤退；该师参谋长涨淑民屡次煽动退却，复敢弃职潜逃；旅长谢锡珍，首先退出猪皮岗，未经报告师长，便借口收容，擅自乘车南下；叶赓旅长，当唯县之战时，突告失迹，事后知己易服逃赴汉口”。
日军第14师团及第16师团的西进，严重威胁了第一战区司令长官部所在地郑州及平汉路的安全。当时，第一战区虽有近30个师数十万军队，而且大多为中央嫡系的所谓主力部队，却不敢抵抗日军2个师团的西进，最高统帅蒋介石决定掘开黄河、制造水障，以阻止日军西进。这一主张，在蒋介石思想上并非临时产生，早在1937年7月间，他的德国首席顾问法尔肯豪森就曾建议“将黄河决堤”，以阻止日军。1938年4月13日，正当台儿庄战场上中国军队追击败退日军时，陈果夫又致函蒋介石，主张准备在河南武涉的沁河口附近决黄河北堤，他是因为“恐敌以决堤制我”而建议采取的反措施，他说：“沁河附近之黄河北岸，地势低下，敌如在下游沿岸任何地点决堤，只顶将沁河附近北堤决开，全部黄水即可北趋漳卫则我大厄可解，而敌反居危地。”蒋介石批示“电程长官核办”。徐州失守后，姚琼等主张由河南铜瓦箱决堤，恢复清咸丰五年前的故道，使黄河河水经徐州，淮阴以北人海；陈诚及其部属则建议由黄河南堤黑岗口等处决口，当日军于6月1日占领睢县，迫近兰封，杞县时.第一战区司令长官程潜即决定决堤。并通过侍卫室主任林蔚向蒋介石请示，得到蒋的口头同意。但程潜深知此举后果严重，又以正式电文请示，经蒋由电文批准后，才开始实施。
第一战区召集黄河水利委员会及有关河防军政人员会议，研究决堤位置，最后选择中牟县赵口。遂令第20集团军商震负贡，限6月4日夜间12时决堤放水。同时，第一战区司令长官部迁驻洛阳。商震令万福麟第53军派1个团施工，至6月5日上午，仍未完工。蒋介石在电话中令商震“严厉督促实行”。商震带参谋长魏汝霖亲去监工，加派刘鼎和第39军1个团协助，并令工兵用炸药炸开堤内斜石基。下午8时放水，因缺口倾颓，水道阻塞，又未成功。6月6日重新开挖，仍告失败。军委会及第一战区对此“异常焦的”，日必三、四次询问。商震又令刚刚爆破黄河铁桥的新8师增派1个团。该师师长蒋在珍观察后，建议改在花园口决堤，经蒋介石及程潜批准后，6月7日侦察，8日开工，9日9时完成放水，当时正值大雨，决口愈冲愈大，水势漫延而下。12日，又与赵口被冲开的水流汇合，沿贾鲁河南流，使贾鲁河，涡河流域的乡村城镇一片汪洋。水流淹没了中牟、尉氏、扶沟、西华、商水一带，形成一条广阔的水障地带。
日军第14师团于6月7日攻占中牟，派骑兵联队于10日炸毁郑州以南的平汉铁路；第16师团第30旅团长彼原次郎所率挺进队（步兵5个大队），于6月12日炸毁新郑以南平汉铁路。由于水障的形成，日军各部队都停止了追击。第14师团一部被洪水围困于中牟县城。第2军组织了1个工兵联队、6个工兵中队的救授队，用大批舟艇援救其被困部队。位于泛滥区中心的日军第16师团一部。来不及撤走的车辆、火炮、战车等重武器均沉于水底，并冲走、淹死一部分士兵。日军航空兵以飞机空投食物及医药、救生设备，达61.5吨。位于泛滥区以东的日军也迅速后撤。被洪水隔断于新郑以南的第16师团第30旅的5个大队。就地组织防御，亦靠空投补给军需物资。最后，由第2军派出的船艇队将其撤回。6月15日，日本大本营令关东军混成第3、第13旅返回东北。17日，第2军进行如下部署：令第14师团在开封、兰封集结，今第16师团在杞县、睢县、宁陵间集结，令第10师团主力在夏邑、会亭集、永城附近集结，以一部兵力占领柘城、鹿邑，亳州、涡阳地区。
急流的黄河水注入淮河，淹没了淮河堤岸。7月13日，冲断蚌埠淮河大铁桥。蚌埠至宿县一带，亦成泽国。日华北方面军越过限制线的追击被水障挡住了；导致日军尔后进攻武汉的路线也改变了；退至郑州一带的国民政府军队免去了被追击的危苦。可是，应该由国民政府军队保护的几十万中国老百姓，却因此而丧生和倾家荡产。国民政府对这一事件在政治、经济及道德上的影响十分清楚。因而，在掘口放水的同时，第一战区就对外宣传：“敌占据开封后，继续西犯，连日在中牟附近血战。因我军誓死抵抗，且阵地坚固，敌终未得逞，遂在中牟以北，将黄河南岸大堤掘口，以图冲毁我阵地，淹毙我大军。”蒋介石于6月11日又致电程潜，指令三点：第一
徐州会战至豫东会战结束，第五战区和第一战区共伤亡10万余人。日华北方面军和华中派遣军共伤亡约3万余人。日第2军于6月29日在徐州开追悼会，仅有名的战死人员即达7452人。
有的人强调花园口决堤的军事作用，认为因此保住了豫中豫西及陕西等大片国土不被日军占领，推迟了武汉会战的时间表……等等。即使不考虑政治、经济、道德等方面，仅从军事角度看，这种说法也值得商榷。
就战役范围，特别是站在国民政府第一战区的角度而言，决堤造成水障，确实起到了阻止日军第2军西进的作用，摆脱了被追击和与日军血战的严峻局面，并暂时保住了第一战区所在的豫中、豫西等地区。
但就战略范围而言，水障既未能阻止日军进攻武汉，也没有推迟武汉会战的时间。日军第2军即使不受水障所阻，占领了郑州，在日本政府未决定进攻武汉、国内新扩建的10个师团未派至中国和调整部署以前，第2军也不可能单独地进攻武汉。而事实上，恰恰是在决堤放水期间，日本内阁、大本营在6月15日御前会议上决定进攻武汉的。所不同的仅仅是，主攻方向不是由平汉路南下，而是沿长江西进。其实，日军进攻武汉的主攻方向，本来就有两种选择，而沿长江西进，更能充分发挥日陆海空协同作战的优势。占领了郑州，日大本营也未必一定选择平汉路的方向，因为形势和七七事变时已有所不同。此时，华北敌后战场已经开辟、各抗日根据地已经建立，广泛的游击战已经开展，以平汉路为主攻方向，则海军毫无用武之地，而要保障以平汉路作为后方补给交通线的畅通，则需要大量兵力，且比保障长江畅通困难的多。
至于保住豫中、豫西、陕西等大片国土，更非决堤水障所造成。根本原因是，日本兵力不足，无意攻取。假如企图占领，水障是阻不住的。日军增兵河北，南下进攻，第一战区的主力部队既挡不住西进的日军，恐亦很难挡住南下的日军。
关键是高级将领的抗战意志，指挥能力和部队战斗力。1941年，日军第35师团为策应长沙会战。以5个步兵大队、3个骑兵大队，于10月2日强渡黄泛区，10月4日即攻占郑州，又经过第1战区三年的经营，1944年，日军发动所谓“1号作战”的豫中战役，日军第12军第17师团于4月17日由中牟强渡黄河，19日即占领郑州，仅30多天就攻占了第一战区司令长官部所在地洛阳，打通了平汉路，占倾了第一战区的豫中地区。这些都是最有说服力的证明。所以，对国民政府花园口决堤的事件，即使仅从军事上，也不宜夸大它的作用。