一九三八年三月二十四日，日军士兵涩谷升日记：
上午六时，向台儿庄前进，第五中队机枪队在右侧第一线，总队部向铁路敌阵开始进攻，敌兵约数千，第五中队呼应总队部向敌阵进攻，受敌方猛烈射击，不支伏于麦田，谷川君战死，第三小队之见泽君去向不明，中仓、中原两君受伤。接着，向铁路东西面村落夜袭。小队长下令，各兵要抱死心。敌方以捷克机关枪猛射，我伏在地上，立在前面之森君中弹即死，黑川君亦中弹倒地，金田君负伤。战车队向南面蓦进，展开肉搏战，小队长负伤。因敌兵甚多，我军含泪而退，马十匹倒地，经理部长战死，其他死伤不少。敌方发射愈猛，我中队不能与总队部取得联络，约历一夜，川谷君战死。
这个名叫涩谷升的日军士兵并不知道，他在中国战场上的地狱般的经历才刚刚开始。
坚持要南北夹击打通津浦路的侵华日军，尽管在津浦路南段和北段均因受到中国军队的不断阻击而推进缓慢，但并没有因此改变其既定的作战决心。一九三八年三月上旬，日军华北方面军再次向东京大本营提出申请：“追剿眼前之敌，决不是深入南进作战。为警备后方希望增加兵力。”这一次，申请得到了批准，原因“与更换了过去一贯慎重作战的作战课课长河边大佐，于三月一日由陆军省军事课高级课员稻田正纯中佐就任作战课长很有关系”，而稻田正纯的上任被认为将推动战争进入疯狂状态。只是，东京大本营还是对华北方面军给出了限制：“任何场合，均不得超越临城、枣庄、临沂之线。”
然而，侵华日军不会遵守这一限制。
在攻占临城、滕县之后，南下占领峄县，就已超越了东京大本营设置的限制线。此时，攻击临沂的第五师团坂本支队，因受到中国军队张自忠部和庞炳勋部的阻击无法脱身，第二军参谋冈本清福大佐来到兖州，向矶谷廉介转述了坂本支队的困境，希望得到第十师团的支援。矶谷廉介立即命令濑谷支队：在“确保韩庄、台儿庄运河一线，并警备临城、峄县”的同时，“应以尽可能多的兵力向沂州（临沂）方面突进，协助第五师团战斗”。
濑谷支队由步兵第三十三旅团司令部，步兵第十、第六十三联队，独立机枪第十大队，独立轻装甲车第十、第十二中队，野炮兵第十联队（缺一个大队两个中队），工兵第十联队第一中队等部队组成。
三月二十二日，支队长濑谷启下达了作战命令：
一、右追击队作为韩庄守备队，负责守备韩庄附近；
二、台儿庄派遣队（步兵第六十三联队第二大队，配属野炮一个大队）明二十三日从峄县出发，确保台儿庄附近运河一线地区；
三、沂州支队（步兵第十联队）明二十三日从临城出发，向沂州方面前进，册应坂本支队作战；
四、支队主力集结于峄县附近。
濑谷启知道，中国军队的第二师、第四师、第二十五师、第八十九师都已进入台儿庄地区。但是，他依旧不顾中国大军云集，目中无人的决定孤军深入，其投入攻台儿庄地区的部队竟然只有一个大队——按照日本陆军的编成标准，一个大队的规模大于中国军队的一个营但小于中国军队的一个团，兵力约在一千至一千五百人之间——足见对中国军队的极度蔑视。
台儿庄位于山东峄县东南，北接津浦路的台枣支线（台儿庄至枣庄），南临陇海铁路，西南距徐州五十多公里。大运河从庄南流过，水深两米多，自古便是鲁南的水陆码头。台儿庄名为“庄”，实际上是一座有环绕寨墙并有六个寨门的市镇，寨墙虽两丈余髙却由砖土砌成，六个寨门分别是：西门、西北门、北门、东门、东南门、南门。城北是一片开阔地，矗立着大小碉楼数十座；西面是铁路；东面散布着村庄。
第五战区司令长官李宗仁后来记述，他对日军狂妄地孤军深入是有所预见的：“我当时的作战腹案，是相机着汤军团让开津浦路正面，诱敌深入。我判断以敌军之骄狂，矶谷师团长一定不待蚌埠方面援军北进呼应，便直扑台儿庄，以期一举而下徐州，夺取打通津浦路的首功。我正要利用敌将此种心理，设成圈套，请君入瓮。”由此，李宗仁拟定的作战计划的要义是：汤恩伯部提前集结于峄县以北，台儿庄防御仅仅是正面阻击和牵制，待沿台枣支线南下的日军被阻挡在台儿庄时，汤恩伯部将从日军的侧背突然发起攻击，压缩并歼灭日军于微山湖畔。这计划的合理之处在于：南下冒进的日军兵力不多，且深入了中国军队阵线的腹地，只要不让日军很快地冲过去，在汤恩伯部主力的包抄侧击下，冒进的日军定会陷入进退两难的境地。这时候，只要中国军队勇猛出击，紧密配合，完全可能给予南下的日军以重创。——这个先把主力藏起来，然后再杀回来的战术，被李宗仁称为“轴回旋”。
之所以选择汤恩伯的第二十军团担任侧击主力，根本原因还在于汤恩伯部属于精锐的中央军部队。军团下辖第十三、第五十二、第八十五军。第十三军军长由汤恩伯兼任，下辖第一一〇师，师长张轸。第五十二军军长关麟征，下辖第二师，师长郑洞国；第二十五师，师长张耀明。第八十五军，军长王仲廉，下辖第四师，师长陈大庆；第八十九师，师长张雪中。——“该军团装备齐全”，是当时中国陆军中的“精华”。
负责台儿庄正面防御的，是从第一战区调来的孙连仲的第二集团军。该集团军名义上下辖两个军，即田镇南的第三十军和冯安邦的第四十二军，但在之前的平汉路和娘子关作战中，冯安邦的第四十二军损失惨重，仅仅剩下一个空架子，孙连仲多次请求补充都未获批准。所以，此时的第二集团军，实际上只有三个师可以参加作战，即黄樵松的第二十七师、张金照的第三十师和池峰城的第三十一师。
第二集团军属西北军旧部，来徐州战场前被调来调去：先丛山西调到豫鄂交界处的武胜关一带修筑国防工事；后又奉命把修了一半的国防工事交给滇军第六十军，北调至郑州附近去守黄河；刚走到黄河边上，听闻滕县失守，于是奉命东进徐州，归第五战区司令长官李宗仁指挥；走到半路，又接到命令，要求赶赴台儿庄地区归汤恩伯指挥。此时，孙连仲的任务仅仅是牵制住日军，以便汤恩伯部主力从侧背出击。
因部队过郑州时师长池峰城因事停留，李宗仁将师参谋主任屈伸叫到了徐州，当面交代给第三十一师的任务是：背靠台儿庄，向北面的峄县出击诱敌；在日军受到引诱发起进攻时，坚决守住台儿庄阵地。李宗仁说：“敌如出而迎战，贵师应尽力堵击，迨汤恩伯军团进击侧背，全力压迫敌人于微山湖畔聚而歼之；敌如固守待援，贵师应尽力牵制，监视敌人，掩护关麟征军北上与王仲廉军协力包围攻击，歼灭枣庄之敌，再回师合击峄县之敌，将战线推进到兖州以北。为了协同方便，贵师即暂归汤军团长指挥。”
师长池峰城赶到台儿庄后，正在北上的第二十军团路过台儿庄南车站，池峰城在车站里会晤了军团长汤恩伯和第五十二军军长关麟征。汤恩伯表示：“贵师任务重大，务须努力堵击敌人南进。”而他的部队将在第三十一师与敌接火后，“不顾一切，马上抄袭敌之侧背”，绝不会让贵军“孤军苦战”。为了届时紧密协同，请池师长暂接受关军长指挥，“一切细节问题请与关军长就近协商”。池峰城立刻向关麟征询问了他最关切的一个问题，即一旦第三十一师与日军打起来，第五十二军何时才能发起侧击？换句话说，第三十一师在台儿庄到底坚守几天才算完成任务？关军长的回答毫不含糊：“贵师与敌接触，枪声一响，我们便能马上回援，按距离算，最多不出一日定可回援。贵师守台儿庄，能坚持三天即算完成任务。”
池峰城师长无论如何也想不到，后来战局的演变与关军长的承诺毫不沾边，他的部队不但变成了日军的主攻对象，他负责防守的台儿庄也变成了战区的主战场；而且，围绕着台儿庄的惨烈战斗，竟然持续了半个月之久。其间每一天的每一分每一秒，他都在苦盼着李宗仁的那个“轴回旋”立即实施，苦盼着汤恩伯部能“不顾一切”“马上回援”。他不得不“孤军苦战”，在那些血肉横飞的日子里承受利刀剜骨般的煎熬。
第二集团军抵达台儿庄后，孙连仲将他的三个师铺开设防：第三十师在左翼，第二十七师在右翼，第三十一师在中间防守台儿庄。第三十师下辖两个旅四个团，加上师直属各部队，兵力约万余人。官兵手里的步枪型号很杂，以汉阳造的七九步枪居多，还有日本三八式和六五式，以及少量的捷克式七九枪。每连有轻机枪三至四挺，每营有重机枪至四挺，每团迫击炮连有八二迫击炮四门。全师配属一个炮兵营，有野炮十门。
刚进入台儿庄的时候，这里的店铺还在营业，街上的行人也是神情悠然。但是，一看到第三十一师官兵驻扎下来，听说这里将要和日本人打仗时，一夜之间台儿庄成了一座空城。
二十二日，上午十一时，第五十二军军长关麟征发布作战命令，其中涉及第三十一师的部署是：
第三十一师应于本晚，由台儿庄渡河，主力控制于南洛、北洛一带，以得力之一部，在獐山附近占领阵地，向峄县方向警戒，掩护本军由台儿庄渡河。本月二十三日拂晓前，应推进至獐山、天桂山一一五高地、白西山之线占领高地，并以一部时时向峄县之敌袭击，以一部向韩庄方面游击。
十五时三十分，第三十一师师长池峰城下达的作战命令是：
一、第九三旅之一八五团位置于北洛，以一营进至前城、赵庄地区，该旅之便衣队即向獐山、北山西、黄山湖搜索而占领之。旅部率禹营位置于南洛附近，应于明拂晓后向峄县之敌佯攻，后逐次抵抗于北洛附近。第一八六团（欠禹营）担任台儿庄之守备。
二、第九一旅一八一团控置于台儿庄，以一八二团担任台儿庄运河南岸警戒。
三、师骑兵（欠两班）于明日拂晓向峄县东南地区极力活动。
四、师部推进至台儿庄。
池峰城还命令工兵营收集船只，在西门外的运河上搭建浮桥，作为师指挥部与寨内的交通补给线和联络线。
这是背水一战的部署。
天黑了，关麟征的第五十二军将运河南岸防务移交给军团直属的第一一〇师，然后经台儿庄、兰陵镇移至枣庄以东的向城一带；王仲廉的第八十五军则在峄县与韩庄一线与日军脱离接触，然后转移集结在率庄以北的抱犊圍山区里——这是在执行李宗仁的“让开津浦路正面”的设想。
二十三日拂晓，按照李宗仁诱敌深入的计划，第三十一师开始向台儿庄以北的峄县方向主动出击，实施佯攻诱敌。——汤恩伯说，日军占据的峄县城池很坚固，必须把他们引出来。第三十一师派出了由连长刘兰斋率领的骑兵连、由一八五团一营副营长王保坤率领的加强步兵连，第九十三旅旅长乜子彬则率一八五团主力随后跟进。此时，日军台儿庄派遣队正沿台枣支线南下，两军在峄县以南约二十里的康庄、赵庄附近遭遇，第三十一师的骑兵连和加强步兵连且战且退。接近中午时分，日军增加三百余兵力，又增加了七辆坦克，沿着铁路线凶猛地向前突击。骑兵连和加强步兵连分别陷入包围，激烈的交战中伤亡惨重，一营副营长王保坤、加强连连长寇葆贞均阵亡。十四时，日军逼近铁路西侧的北洛并发起攻击，第九十三旅的简易工事被日军炮火摧毁，一八五团坚持至傍晚时分，团长王郁彬指挥官兵退守南洛。
濑谷启从战场上的中国战俘那里得知：峄县以北是汤恩伯部的四个师，拟于二十四日发起攻击。濑谷启当即决定：支队主力集结在临城、峄县一带，准备与汤恩伯部展开决战，以确保徐州北面的门户韩庄以及台儿庄附近大运河一线。只是，他并没有改变台儿庄派遣队的任务。此时，中国第五战区的将领们尚未摸清日军的真正意图，认为日军向台儿庄方向的攻击是试探性的，日军的主要作战目标是在峄县附近与汤恩伯部决战。那么，只要明天日军不继续向台儿庄靠近，以台儿庄为靠背的诱敌深入计划就仍需维持。依据这一判断，二十三日晚，池峰城师长下达的作战命令依旧是：与当面之敌保持接触，吸引敌军南进，以协力汤恩伯军团之攻势，歼敌于台儿庄以北地区。
令中国官兵印象深刻的是：日军向台儿庄进击的兵力并不多，但是在接敌的第一天，骑兵连和加强步兵连就有百余人阵亡，且多是陷入包围后被日军屠杀的。日军残暴而凶悍的杀伤力，令必须主动接敌的第三十一师官兵有了隐隐的不安。
二十四日拂晓，中国空军出动十四架战机，轰炸了韩庄、临城和穿庄一带的日军据点。濑谷启知道，这是中国军队发动大规模攻击的先兆。濑谷支队主力集结在临城、峄县一线，却一直没有等来中国军队的任何动静——汤恩伯并没有按照预定时间发起攻击，他的军团部和第八十五军仍停留在抱犊山区里，只有关麟征的第五十二军到达了预定进攻位置——枣庄东面的鹁鸽窝、郭里集一带，并在那里与濑谷启指挥的沂州支队形成对峙。这个时候，日军台儿庄派遣队仍在向台儿庄推进。
二十四日早七时，台儿庄派遣队从北洛出发，其前锋试探性地攻击了孙庄，在第三十一师的抵抗下没有进展。两个小时后，日军后续部队抵达，在二十余门火炮的掩护下，向北洛以南一线发动了猛烈攻击，台儿庄以北的刘家湖各村相继失守，第三十一师官兵一边抵抗一边逐次后退。中午，日军飞机对退入台儿庄东北方向园上村内的中国守军迸行了轰炸，守军伤亡殆尽时日军占领了园上村。
从刘家湖和园上村，日军已经能够看见台儿庄单薄的寨墙了。
日军台儿庄派遣队单刀直入，根本不管置于侧背的汤恩伯部，其一路进击的方向始终是台儿庄，而濑谷支队主力则集结在台儿庄派遣队身后，随时以备汤恩伯部不测。池峰城师长终于意识到，日军台儿庄派遣队既不是在试探性攻击，也从没有为中国军队所诱，其作战任务就是占领台儿庄，他的第三十一师已经坐在了火山口上。
池峰城立即联系汤恩伯部以求获得支援：
师自二十三日晨诱致当面之敌接触以来，迭将战况电报军团长汤、军长关，迄未取得联络。今十三时，始奉军团长汤、军长关电示：军团正于郭里集与敌激战中，爰悉军团主力迂回已远，未能即时回军南开歼当面之寇。
汤恩伯的意思是，他的第二十军团已向台儿庄以北走出很远，正在枣庄东南方向的郭里集与日军“激战”，无法南下“回旋”台儿庄助池峰城部歼灭“当面之寇”。
池峰城没有别的办法，只有命令一八五团不惜一切代价向刘家湖反击，命令一八六团务必收复园上村，以重新构筑起台儿庄北面的外围防御线。十四时，一八五团由南洛突然出击，当面日军猝不及防，出现伤亡后撤退，刘家湖阵地得以收复。但园上村里的日军据守不退，一八六团的反击没有成功。刘家湖阵地刚刚稳定，日军突然又反攻而来，致使台儿庄北面阵地全面陷入激战，一股日军突破了中国守军防线直逼台儿庄城下。日军集中起炮兵火力，对台儿庄实施了破坏性轰击，第三十一师师部所在的南车站大楼被击中，师部被迫转移到车站附近的一座铁路桥下。台儿庄的北面都是开阔的平地，日军迫近寨墙时不得不暴露在中国守军的火力之下，每前进一步都要付出巨大代价，日军士兵只好疯狂地挖掘临时掩体，挖出一个坑趴在里面不敢抬头。为了压制中国守军的火力，日军再次对台儿庄寨墙进行了四个小时的轰击，致使北部寨墙多处倒塌，形成几个大缺口，数股日军从缺口冲入。危急时刻，一八六团团长王震、团附姜常泰率领预备队紧急增援。中国守军的轻重机枪向突入的日军猛烈扫射，日军在伤亡不断的情况下仍持续冲锋，两军在寨墙附近混战在一起。战斗中王震团长和姜常泰副团长均负重伤。池峰城派副师长康法如上来顶替王震指挥，可康副师长刚上来便身负重伤，池峰城又派参议王冠五上来指挥。经过死战，中国守军终把突入寨内的日军逼退，北寨墙外的日军遗尸后撤。
台儿庄激战之时，二十三日蒋介石抵达徐州视察，并让随行的副参谋总长白崇禧、军令部次长林蔚和作战厅厅长刘斐留下来，协助第五战区指挥作战。台儿庄受到的猛烈攻击，令包括蒋介石在内的所有人颇感意外。或许此时李宗仁才意识到，让孙连仲部诱敌深入，再让汤恩伯部猛烈侧击，以图压缩日军于微山湖畔将其歼灭的“轴回旋”计划过于夸张了，台儿庄才是这股日军必要攻克的战略要点。于是，第五战区改变了作战部署：命令第三十一师防守台儿庄，取消原定之诱敌任务，并增调一个炮兵营（携带七十五毫米野炮十门）、一个机械化野战重炮兵连（携带一百五十毫米榴弹炮两门），以及铁甲车第三中队，全部配属给第三十一师。同时，解除第三十一师归属汤恩伯指挥的命令，将第三十一师交还给孙连仲的第二集团军指挥。
孙连仲随即命令第三十一师全力死守台儿庄，命令右翼黄樵松的第二十七师火速增援台儿庄，然后他把自己的集团军总指挥部前推到距台儿庄不足两公里的一个小村庄里——尽管处在日军火炮的射程内，但这个小村庄实在是太小了，以至于日军始终未能判明这里就是孙连仲的指挥部。按照规定，总指挥部的位置应距战场第一线二十公里，但孙连仲率领他的参谋们上了前沿，足见其死守台儿庄的决心。
二十四日凌晨五时，黄樵松的第二十七师丛山东与江苏交界处的柳泉、贾汪地区徒步向台儿庄开进，辎重营及炮兵则由火车运至台儿庄南站。黄昏时分，第二十七师全部抵达并在规定地域展开：第七十九旅在铁路以西，第八十旅在铁路以东，师部与直属队在台儿庄以西约十公里处的贾桥。午后，集团军总司令孙连仲命令第二十七师，以一个营接替第三十一师的运河防线阵地，其余部队皆立即开赴台儿庄“暂归池师长指挥”。
午夜，白崇禧在孙连仲的陪同下来到第二集团军指挥部。了解敌情与战况后，白崇禧认为：“敌将以一部牵制我汤军团，而以主力攻略台儿庄，以崩坏我迂回军之旋转轴。”——我诱敌部队变成了敌主攻目标，我主攻部队变成了敌牵制对象，第五战区精心策划的“轴回旋”计划，于作战发动之际其“轴”就已“崩坏”了。临走，白崇禧嘱咐池峰城师长：“台儿庄乃徐州屏障，今此要点，已非汤军团之旋转轴，乃战区旋转轴也，期能三日守，俾战区获得时间余裕，敌可就歼也。”
同是这天晚上，濑谷启收到了台儿庄派遣队受到攻击请求增援的电报，他当即派出两个中队携带两门重炮南下增援台儿庄。日军第十师团师团长矶谷廉介得知台儿庄派遣队受挫后，决定由第六十三联队福荣大佐率领第三大队赶赴台儿庄指挥攻坚。
除了死守台儿庄之外，孙连仲已没有别的选择，但他知道进攻是防御的最好手段。二十五日凌晨二时，他命令部队北出向台儿庄外围的日军实施反击。在漆黑的夜色里，一八六团一部佯攻孟庄，主力则向园上村实施反击，日军据守在园上村的民房和碉褛里，反击部队因遭到炮火杀伤而无大进展。一八五团一部攻击裴庄的日军，经过激战双方形成对峙。一八二团向沧浪庙方向的反击取得成效，日军开始向园上村方向撤退，一八五团乘机攻占了裴庄。中国官兵从缴获的文件中得知，日军第六十三联队第三大队已经到达战场。
凌晨四时半，池峰城发布命令：一八一团固守现位置，主力在台枣铁路线东侧，于日军南进时实施侧击，同时把台儿庄以北刘家湖附近的公路尽量破坏；一八六团参加反击作战的部队尽快回撤，加强台儿庄内城防工事；一八二团回撤北车站，作为全师预备队；炮兵七团占领并开设炮兵阵地。之后，池师长亲自带领铁甲第三中队出台儿庄向北，于早晨六时抵达南洛村北端，然后指挥炮兵向北洛及刘家湖的日军据点开始轰击——“敌顿形惊慌混乱，杀伤甚大，敌旋以炮还击，伤我士兵两名，机枪一挺，即撤回车站。”
天亮了。日军在飞机轰炸和炮火轰击后，猛攻南洛附近中国守军阵地。第三十一师两次北出台儿庄增援，依旧没能抵挡住日军步兵的冲锋，南洛北面的阵地失守，守军两个连的官兵全部阵亡。接着，南洛以东的刘家湖阵地失陷。为争取主动，第九十三旅旅长乜子彬率一八五团向南洛攻击前进。上午十时，部队行进到刘家湖附近时，乜旅长发现村东北的小树林里有日军的炮兵阵地，大约十门火炮正疯狂地向台儿庄方向轰击。三营营长高鸿立决心把那十几门大炮夺到手。
高是农民出身的军人，性格刚直粗犷，一向作战勇敢果决。马上在麦田里集合全营部队，指着那片小松林说：“你们瞧，轰炸我台儿庄的炮弹，都是从那里发射的。我们要把狗日的那十几门炮夺回来，煞煞鬼子的威风！你们敢不敢？”话音刚落，高鸿立忽地把上身的棉军衣和衬衫全脱下来，左手握着手枪，右手举起大刀，赤胸露臂，以洪亮的声音喊道：“敢随我去夺炮的要像我一样！”话未说完，全营官兵霎时间全把上衣脱得精光，端着上了刺刀的步枪，在高营长率领下，白光闪耀，直向小松林冲去。敌人见此情景，惊恐万状，一面以步枪向我高营阻击，一面拉出炮车掉头向东遁逃。高营官兵一片喊杀声随后追击。
正在追击中，北面突然出现日军的千余步兵和二十多辆坦克，见到自己的炮兵被中国军队追得在麦田里狂奔，日军坦克立即迎着高营长的部队冲过来。中国官兵没有打坦克的武器，很快就被日军冲散，各自为战地与日军步兵厮杀在一起。一八五团团长王郁彬闻讯率营赶去增援，于是，一场更大规模的肉搏战在麦田里展开。喊杀声、枪弹声、坦克的轰鸣声和刺刀的碰击声汇成一片。双方血战两小时，待旅长乜子彬前来解救时，王郁彬团长的大腿被子弹洞穿，高鸿立营长头部负伤，一营和二营营长都已阵亡，一八五团连以下官兵阵亡了一半以上。——尽管一八五团付出了巨大代价，“但使一向骄横的日寇认识到中国人的骨头还不是他们想象中的那样好啃的”
外围的受袭，并没有阻止日军攻占台儿庄的决心。
二十五日下午，在日军猛烈的炮击下，台儿庄北门以及附近寨墙“倒塌数丈”，日军步兵从缺口处向庄内猛突。为减缓庄内守军的巨大压力，台儿庄外围部队奉命发起侧击，由于火力弱势没能减缓日军的强攻，台儿庄北门最终被突破，两百余名日军冲了进来。守寨墙的一八六团官兵奋力反击，以四百余名官兵伤亡的代价将缺口封堵，但一部分日军被堵在了庄内的大庙里。这是台儿庄城内的一座城隍庙，楼高院深，里面长满野草，中国士兵放火将草点燃，致使大庙燃起熊熊烈火，窜进来的日军官兵全部被烧死在里面。
这一天，战场上终于传来了汤恩伯部的消息：集结在枣庄以东的关麟征的第五十二军第二十五师第七十五旅一部，与濑谷启指挥的日军沂州支队前锋小部队发生了战斗；第五十二军的第二师也从鹁鸽窝方向对枣庄发起攻击，激战两昼夜后一度占领了大部市区，但随即便遭遇了增援日军的强力反击。师长郑洞国向汤恩伯求援，汤恩伯率第八十五军主力仍在抱犊崮山中，接到电报后仅派出一个旅，这个旅又只派出个团，这个团也就派出了几个排，在枣庄外围骚扰一番就撤走了。关麟征军长怒火中烧：“汤先生是我们的老长官，对我们也玩弄这一手，实在太不应该。”但是，汤恩伯给李宗仁发去电报报告的却是：“枣庄之敌约一联队，经我第四师猛攻后，即退入枣庄东部之中兴煤矿公司顽强抵抗。该公司房屋坚固，敌并设外壕电网，不易攻击。枣庄西部均为我占，并经火焚烧敌战车七八辆。刻乃激战中。经饬该师如再不能奏效，即以一部对敌监视，主力仍撤回枣庄以北高地，本晚再行攻击，并一部进出枣庄南端之铁路线上夹击之。峄县县城及其附近有敌约三千余人。关军昨晚已开始攻击，请饬空军迅速前来轰炸枣庄之中兴公司及峄县县城。”——汤恩伯明知台儿庄正遭受日军持续猛烈的攻击，却按兵不动，反要空军来轰炸他的部队所在战场上的日军。
这天凌晨，日军士兵涩谷升跟随他的部队退至南洛村：
敌装甲车出现于前面约距五十公尺，因势寡不得动手，浜尾君战殁，排长率第五分队前往总队部联络时，我阵地北方发现敌兵数千人，吹喇叭而向我阵地进攻。刘家湖方面之敌兵亦甚众，向我攻袭，各兵抱定决心待死，经历两小时许，忽闻友军枪声四起。第七中队及辎兵队负伤颇众，在刘家湖取抵抗态势，伤兵送往卫生队，中途所有乡村均放火焚烧。
台儿庄中国守军在数量上是日军的五倍，但装备上却与日军相差甚远。日军除了有大量飞机助战外，重型火炮的优势十分明显，步兵还配属了大量坦克。孙连仲部既没有坦克，也没有反坦克武器，官兵们只能依靠血肉之躯阻击日军的进攻。台儿庄镇面积不大，回旋余地很小，庄内也没有可以利用的高大坚固的建筑物。在日军凶猛火力的轰击下，寨墙一次次地被突破，守军填补缺口变得越来越艰难，往往需要付出巨大的代价。台儿庄内的民居，大多由石块砌成，日军突进来占据一座民房，这座民房就会变成一座地堡，中国守军很难一一清除。但对于日军来讲，中国守军誓死不退，即使突进去部分步兵，也会遭到毫不犹豫的反击。在逐街逐屋的巷战中，突进去的士兵面对中国守军的顽强拼杀，很难扩大战果。在台儿庄这个狭窄的地域里，双方都无法投入更多更密集的兵力，镇内的短兵相接也使日军的优势火炮无法进一步发挥威力。攻者意志强硬，守者寸土不让，双方在这个运河边的小镇内外进行的犹如一场永无休止的拉锯式肉搏。
二十六日，台儿庄依旧处于混战之中。
早晨七时，园上村附近的日军炮兵开始向台儿庄轰击，步兵在炮火准备后再次强攻北寨墙。两个小时后，台儿庄北门再次被日军突破，一股日军又窜入了镇内的城隍庙。昨天，中国守军在这里放火烧死了数名日本兵，现在荒草已经烧光，再放火也无济于事，日军坚守在里面无论如何不出来。北门的缺口越来越大，涌入的日军越来越多，台儿庄守军开始内外受敌。——“我守兵塞街巷，拋瓦罐，掷家具，折栋倾墙以堵击，在敌炮击下死伤累累，城内始步步荆棘，卒遏制敌之进展，而敌亦自毙于轰击者甚重。”
傍晚，台儿庄的东面被日军占领。
中国军队据守着西面，与日军形成对峙。
这一天，第三十一师守军死伤达千人以上。
晚上，乜旅长视察台儿庄守军阵地，他对官兵们说，现在是巷战阶段，巷战全凭手榴弹和大刀，这是咱们拿手的，也是敌人害怕的。只要保持旺盛的士气，就可以与敌人拼一阵子。为了防止日军放火，须把我军占据的民房草顶全部拆除。还可以大量使用民房里的木料和杂物——“向不忍于民者，今民已尽，任君放手为之。”同时要充分利用火攻制敌：“多备棉油弹，着火弯弓以射之。城中油商花行有余裕矣。”
入夜，一八五团团长王郁彬命令禹功魁、汝心铭、古文照和秦应岐的四个营，各配属一个工兵小组和两门迫击炮，向占据台儿庄东面的日军实施反击。四个营的八门迫击炮，首先轰击了日军的火力制高点碉楼，一口气打出五十多发炮弹，然后各营开始出击。日军顽强抵抗，中国官兵前赴后继，双方都不顾生死，最后一八五团的反击成果仅仅是夺回了三个民居院落。营长禹功魁由于作战勇猛，当场升任一八六团团长。
这时候，奉白崇禧之命从开封开来的战车防御炮连抵达台儿庄。这种新式大炮中国军队仅仅装备了两个连，虽然每个连只有两门大炮，却都是德国制造的大口径榴弹炮，还附有加农炮炮筒，射程达到两万米以上，且有现代化的通讯指挥系统，是当时中国军队中最强大最新式的重炮。池峰城师长立即命令战车防御炮连开设阵地投入作战，四门重炮果然火力非凡，直打得日军“晕头转向，莫知所措”。
二十七日凌晨，台儿庄外的日军开始攻击西寨墙。飞机和火炮将寨墙轰塌之后，步兵在二十多辆坦克的掩护下冲锋。台儿庄寨墙已经千疮百孔，根本无法阻挡日军的涌入——“我寨上官兵死伤于敌人炮火及塌陷的寨墙压埋而阵亡者甚多”。在西门附近防守的一八一团三营伤亡殆尽，三百余日军突入城内随即竖起日本旗，中国守军不得不退守街区纵深，依靠被毁坏的“破屋断墙”节节阻击。防守北车站及西阵地的一八五团，在之前的刘家湖战斗中损失惨重，这时因新的伤亡不断而致兵力捉襟见肘。第三十一师已抽不出任何增援部队，负责指挥庄内守军的副师长王冠五在电话里向师长池峰城请求撤退。池师长心力交痒，犹豫不决，询问参谋主任屈伸。屈伸认为，一点放弃将影响全局，建议把工兵营和骑兵连拿上去。池峰城在电话里对王冠五说：“台儿庄是我们的坟墓，坚决顶住，不能撤退！援军马上就到！”随即命令工兵营和骑兵连增援寨内。同时，命令一八六团和一八二团必须各抽一个营紧急增援北门。援军到达后，王冠五亲率部队反击，官兵们拔下日本旗，换上中国旗，并把一部分日军从寨墙缺口堵了回去，城里的残余日军退入城隍庙。
日军士兵涩谷升也在攻击队伍里，他认为自己还活着是“非常奇迹”：
天亮六时半，各炮队开始发炮，其音响震动天地。第五第六两中队结成敢死队，由城墙之破裂口冲入。墙边有河浜，手榴弹如雨飞来，数人中弹倒毙，其惨状为人间地狱。队长命令，不管死伤如何惨重，各应尽本分。步兵几乎全员倒毙，手榴弹仍如雨飞来，我身边亦飞来数枚，我无负伤，非常奇迹。经激战方得占领城市之一隅，我方已牺牲半数以上。然后将死伤者全部收容于大房屋内。黄昏，敌再度来袭，我方受伤数人，手榴弹仍如雨似雪飞来。夜间，我与林原、足立两君刺死敌兵九名。通宵枪声不绝。
为了牵制日军的攻击，一八一团（欠三营）和一八五团二营奉命迂回到日军侧背，向刘家湖、三里庄和墩上村发起攻击。上午十一时，一八五团二营攻占墩上村，一八一团二营逼近三里庄，一八一团一营攻占了刘家湖。但是，日军紧接着就发动了大规模反击，墩上村即刻失守，三个营的中国官兵在撤退时伤亡大半。
下午一时左右，日军的十一辆坦克直接冲到距台儿庄西北寨墙两百米处，随即停下来向台儿庄内开炮射击。日军的坦克兵尚不知台儿庄中国守军已经调来了重炮，中国军队的重炮瞄准后突然开始轰击，十一辆日军坦克中六辆中弹起火，其余五辆见状仓皇而逃。寨墙上的中国守军不禁欢呼起来，胆大的士兵跳下寨墙，开始追击四处逃散的日军坦克兵砍杀射击，另一些士兵爬上被击毁的坦克卸掉上面的机枪。在刘家湖和园上村里的日军目睹了这一场景一“举目骇视，竟不发一弹，似为我欢声所震眩，竟达五分钟之久，实战场上绝无仅有之奇景也。从此敌战车不敢迫近台儿庄矣”。
台儿庄中国守军第三十一师几天来已伤亡了三千多人，池峰城师长把全师重新编成七个营。为加强台儿庄的兵力，第二集团军总司令孙连仲命令张金照的第三十师和吴鹏举的第四十四旅增援。
晚上，日军增援部队全部抵达刘家湖。
台儿庄的战局愈发严峻。
中国守军在兵力上占据绝对优势，打来打去却让日军占了半个庄，这让战区司令长官李宗仁“殊感诧异”，他严令第二集团军于二十九日前将冲入台儿庄内的日军消灭干净：
台儿庄为徐州前方要地，又为汤军团后方联络要道，关系重要。据报该处附近敌人约一混成联队，我军兵力数倍于敌，早当解决，乃经几日战斗，台儿庄围子反被敌冲入一部，殊感诧异。着贵总司令负责严督所部，限于二十九日前将该地肃清，勿得延缓，致误戎机为要。
不知在日军绝对优势火力下苦守台儿庄的孙连仲接到这封电报时是何心情。此时，孙连仲最关切的并不是李宗仁的“殊感诧异”，而是那个说好了由他发动回旋作战的汤恩伯究竟在哪里？
汤恩伯部仅以少部兵力在枣庄附近与日军纠缠，军团主力依旧躲在抱犊圍山区里不出来。虽然汤恩伯不断致电蒋介石和李宗仁，报告他的部队对枣庄、临城一带的日军进行了持续攻击，但至少从台儿庄方向的战场态势上并没有显出任何册应的效果。倒是二十七日这一天，由行政专员兼保安司令李明扬率领的游击队攻入了临城，不但将留守在城内的日军歼灭，还焚烧了日军储存的大量军用物资。大火烧了一天一夜，迫使日军抽调兵力从南向北增援临城，但增援日军赶到时，李司令的游击队已经跑得无影无踪了。
中国官兵在战场上捉到一个为日军探听情报的中国人，这个名叫宁天成的中国人是伪军第二师三团二营六连的士兵。从这个伪军的口中，他们了解到，在自己不畏生死与日军血战的同时，还有另一群中国人在为虎作伥：
刘桂堂任伪满第十七军军长兼前敌总指挥，位置在临城、济宁附近一带。该军有三个师，师无旅，直辖四个团；每团三个营及一迫击炮连，外加通信特务排各一；每连十二班，班有十二人，配有轻机枪一挺。每营有步兵连三，机关枪连一；连有机关枪四挺，每枪驮马三匹。迫击炮连有炮六门，每炮有驮马五匹；师直属骑兵连及特务营各一。每连有日人二，每营一，每团三，担任监视工作。该军第二师师长刘桂俊，是刘桂堂的乡亲。
孙连仲不断地打电报给汤恩伯，要求他的第二十军团积极行动，全力册应台儿庄的正面防御。汤恩伯主张由第五十二军和第八十五军各抽出一个团，组成一个混成旅，向峄县的日军守军发起攻击，以回应孙连仲的一再请求。令汤恩伯没想到的是，他的主张即刻遭到军团将领们的集体反对：“我们鉴于日军复由临城向枣庄增援，在短期内攻克该城已不可能，提出放弃攻击峄枣之作战计划，以军团主力全力攻击敌之侧背，这样既可以减轻台儿庄、运河一线我第二集团军的压力，又可包抄敌濑谷支队的后路，寻机将其全歼。关麟征将军尤不同意以小部队攻击峄县敌人之侧背，主张要打就全力打，不可以零打碎敲。”
二十八日晚十时，李宗仁致电汤恩伯：“台儿庄方面孙集团陷于胶着状态，敌我均在困难中，贵军应为有力之援助迅速南下夹击之。”第二天晚八时，李宗仁再次致电汤恩伯：敌主力已“绕出台儿庄东侧第二十七师背后”，企图包抄孙连仲的第二集团军的后方。“着贵军团长以一部监视峄县，亲率主力前进，协同孙军肃清台儿庄方面之敌，限拂晓前到达”。汤恩伯这才决定第二军团向台儿庄方向出击。——当初，他与关麟征军长对池峰城师长的承诺是：只要台儿庄的枪声一响，“最多不出一日定可回援”。可现在，池峰城师长的第三十一师已在台儿庄苦战了五天。
即使已向台儿庄靠近，汤恩伯依旧存有私心：“第八十五军是汤氏的老部队，所以他处处想使该军在承担作战任务时避重就轻。在攻击枣庄时，第五十二军由东向西打，面对着临城、枣庄敌之主力，第八十五军却紧靠着抱犊崮山地。现在向台枣支线攻击，他却把原在北面的第八十五军南调，左翼依托台儿庄，右翼是第五十二军，使该军处于比较安全的地位。”
无论如何，汤恩伯部已开始向台儿庄靠近了。但是，也就仅仅是“开始”而已。
台儿庄内，日军据东，我军据西，交战双方近距离的对峙频繁引发残酷的巷战；而在台儿庄外，除了南面的徐州方向，剩下的三面都已处于日军的合围中。
二十八日午夜，趁庄外日军暂时停止攻击的间隙，庄内的中国守军向日军盘踞的城隍庙和碉楼实施反击，一次又一次，官兵们试图把闯进庄内的这股日军消灭。日军盘踞在房顶上，机枪火力十分猛烈，导致反击部队付出巨大伤亡。二十九日凌晨，第三十一师投入两个团的兵力，对城隍庙和西北角同时发起反击，“顽敌卒被驱入大庙及东南西北各碉楼内。敌每退出一房，即纵火燃烧，企图阻我前进，我官兵虽焦头烂额，终以兵器关系极难聚歼”。十日凌晨，第三十一师收集了所有的迫击炮弹，为驱赶西北角的日军开始了猛烈炮击，致使日军“纷纷窜据城角掩蔽部内及民房”内。炮击停止后，日军又纷纷窜出来，激烈的巷战开始了，一直到天再次黑下来，台儿庄内的肉搏“未尝稍停”。
为缓解台儿庄守军承受的巨大压力，外围的中国军队每晚都对日军据点发起反击。盘踞在这些据点里的日军，大多因白天作战疲惫而在睡梦中。为了消耗日军的体力和兵力，不睡觉的中国官兵认为他们必须“妨碍敌人休息”。二十九日凌晨三时三十分，第二十七师的一个团向裴庄发起攻击。官兵们一举把裴庄里的日军赶跑了，然后部队继续向邵庄追击，“毙敌极众，毙敌马匹尤多”。日军跑到邵庄后，集中炮火轰击，大量的燃烧弹令中国官兵伤亡巨大。第二十七师的另一个团向刘家湖反击，遭到日军坦克的反冲击，双方展开炮战的同时，步兵在村庄边缘的麦田里混战，第二十七师伤亡三百多人。三十日午夜，第二十七师第八十旅再次向刘家湖发起攻击，主要目标是刘家湖村内的日军炮兵阵地——“敌轻重大炮八十余门，陷入我火网之内，难以转移，死伤枕藉。刘家湖之敌向我反扑，园上之敌呼啸来援，与我发生激烈之白刃战，彼此皆腹背受敌，我为争夺此炮兵阵地，亦死伤甚众。”
无论中国军队于台儿庄内外发动的反击作战是否结束，只要天一亮，日军便再次集合起主力开始向台儿庄发动进攻。疲惫不堪的中国守军已经习惯了这一规律：大约六至七时之间，先是微明的天色中传来飞机的引擎轰鸣声，然后便是对庄里庄外的猛烈轰炸和低空扫射。同时，日军炮兵从东、西、北三个方向，集中火力轰击台儿庄内的中国守军阵地。烟火弥漫，砖石横飞，中国守军只能躲在临时挖掘的防空洞里，但寨墙上的守军不能躲藏，因为日军步兵随着炮火就上来了。寨墙已不知被炸塌过多少次，又修复过多少次，那些没有在轰炸和轰击中伤亡的守军官兵从瓦砾中爬出来，透过弥漫的烟尘，便能看见由日军士兵组成的土黄色波浪汹涌而来。
十八日早上，台儿庄中国守军发现进攻的日军多了。日军增援部队到达后，参加攻击台儿庄的部队是：步兵第六十三联队（约两个大队）、独立机枪第十大队、轻装甲车第十中队、中国驻屯军临时战车中队、野炮兵第十连队第一大队（缺第一中队）、野战重炮兵第二联队（缺第二大队）、中国驻屯军炮兵联队一小队、工兵第十联队第一中队一小队。
台儿庄寨墙的西北角再次坍塌，数百日军从缺口涌入逼近北站。中国守军编织起密集的火网，令日军步兵的冲锋受阻。九时，日军加强兵力强行冲锋，双方陷入白刃战。十一时，大股日军从西北角爬到寨墙上高高的文昌阁内。这座阁楼早已在炮火下坍塌，只剩下半截，日军士兵往上爬的时候，遭到中国守军的猛烈射击，阁下布满了日军的尸体，而冲上去的日军士兵发现他们下不来了，因为中国守军已向文昌阁发起了反击。防守西门的一八一团，把被击毁的日军装甲车作为机枪掩体，最终封堵上了西北角缺口，但寨墙上依旧有百余名日军在坚持，双方都已筋疲力尽，不得不形成对峙。
晚上，庄里的日军突然发起反击，庄外的日军也同时发动攻击。台儿庄里外火焰冲天，中国守军的电话联络都被切断，只能在各个方向上各自为战。日军再次突入四百多人，举着火把到处放火，但火光也让中国守军寻找到攻击目标。黑夜里的混战一直持续到午夜，台儿庄内的战斗逐渐停歇。
蒋介石发来电报说，如果台儿庄失守，不但第二集团军全体官兵是死罪，连第五战区司令长官李宗仁、副参谋总长白崇禧和军令部次长林蔚都将严惩不贷：
台儿庄屏障徐海，关系第二期作战至巨，故以第二集团军全力保守，即有一兵一卒，亦须本牺牲之精神，努力死拼，如果失守，不特该军官兵死罪，即李长官白总参长林次长亦当严办。
获悉电文的孙连仲派出了两名执法官：第四十二军军长冯安邦赴台儿庄右翼，负责督战第二十七师；第三十军军长田镇南赴台儿庄左翼，负责督战第三十师和第四十四旅，同时督战坚守台儿庄的第三十一师。
二十九日晨，孙连仲召集军长和师长们开会，其间他特别嘱咐第三十一师：不要指望增援，必须坚持下去。第三十一师师长池峰城的表态是：“台儿庄是吾人光荣所在，亦为吾人之坟墓。”同是这天早晨，日军第十师团师团长矶谷廉介命令濑谷启：“应以主力迅速击败台儿庄附近之敌。”
台儿庄外的日军开始攻击了，隐藏在城里的日军也冲出来企图扩大占领，中国守军与日军的混战一直持续到黄昏。日军再次发动了新一轮的全面攻击，危机于此时出现了：一股日军冲入西北角，中国守军伤亡殆尽后，日军蜂拥登城夺取了西门。孙连仲急调一个团增援，增援部队几次反击均未奏效，日军切断了台儿庄内外中国守军的联系。第三十一师副师长王冠五，再次向池峰城师长请求率残部撤退。池师长给孙连仲打电话请示，孙连仲在电话里只说了一句：“台儿庄失守，军法论处。”池师长对王冠五说：“总司令生气了，坚决不让撤。”王冠五指挥的守城部队，仅剩了不到一半兵力，因此这一次他的态度十分强硬：“城是不能再守了，弃城的责任我一个人负，决不连累你！”池峰城听到这句话，一口鲜血吐了出来。——池师长的痛苦在于：王冠五原本是一名参议，可以不上前沿打仗，但在指挥员越打越少的情况下，自己先是派他代理一八六团团长，后又任命他为副师长指挥庄内所有守军，每一次王冠五都没有过二话，现在自己如何给他下达难以完成的严令？但是，万一王冠五不顾一切，真的率部放弃了台儿庄，不但第三十一师数天的血战前功尽弃，自己也必要承担军法责任。此时，参谋主任屈伸猛地把电话夺过来，对着那边的王冠五大喊：“冠五！台儿庄得失存亡，不仅关系到徐州的安危，对整个抗战局势都有很大影响。我们已经苦战了十来天，牺牲了半数以上的官兵，才把鬼子顶住。如果我们放弃了台儿庄，不仅对不起死难的官兵，更对不起国家和人民，那就成了民族的罪人……总的一句话，台儿庄只能死拼不能撤。师部明天就撤入城内，决不会你们牺牲了我们活着回去！你听着，我现在传达师长的命令，台儿庄必须死守，谁再说放弃台儿庄，格杀勿论！”然后，屈伸转身对防守台儿庄运河浮桥的乜旅长说：“从现在起，城里的部队无论是不是因公或负伤，只要擅自退回大桥者，上自旅团长下至兵由你先杀后报！”
电话那端传来的最后一句话是：“请师长放心。”
王冠五，一条硬汉。
王冠五组织起一支由特务连七十二名官兵组成的敢死队。敢死队员短枪大刀，在逭击炮的掩护下，向台儿庄西北角摸过去，他们要爬上寨墙上文昌阁，消灭那个居高临下威胁整个西城的日军火力支撑点。冒着日军密集的机枪封锁，敢死队员叠起土囊，不顾生死地向上攀登，震天动地的呐喊声令文昌阁上的日军魂飞胆破。午夜时分，文昌阁上的日军，除了被活捉的四人外，其余全部死于敢死队员的大刀下。——“我七十二壮士者，成烈士十四人。”
台儿庄派遣队久攻不下，第六十三联队严重受阻，情报显示汤恩伯的第二十军团正向台儿庄靠近，那么，进攻台儿庄的部队很可能面临被全歼的危险。日军第二军司令官西尾寿造，急令第五师团坂本支队火速增援台儿庄，同时严令濑谷支队尽快攻克台儿庄。
三十一日清晨，日军的炮击前所未有地猛烈，二十多门大口径野炮集中轰击，犹如要“令台儿庄化为灰烬”。上午九时，大批日军涌入庄内，中国守军一八六团损失殆尽，一八五团奉命上前接替。在台儿庄外围，第二十七师在刘家湖附近反复与日军厮杀，那些配属给他们的战车防御炮也全都投入了战斗。——“激战至正午十二时，敌复以步骑炮联合部队约三四百名，战车八辆，围攻我郭团（一五九团团长郭金荣）守备之岔路口阵地。我官兵沉着抵抗，与敌死拼，毙敌甚重，敌仍猛进不退，遂发生肉搏战，杀喊之声撼动天地。时我战车防御炮将敌战车击毁三辆，突受敌重炮还击，我战车防御炮两门被击毁。我伤亡官兵三百余名。”
这天傍晚，台儿庄北门寨墙已坍塌成一片平地，无法封堵的巨大缺口使城外的日军蜂拥而入。进入台儿庄的日军沿着每一条街道与中国守军肉搏。待天色完全黑下来时，一条条火舌向中国守军席卷而来，日军使用了火焰喷射器以扫清中国守军的阻击。台儿庄满街都是中国守军设置的障碍物，一处障碍物燃起大火，守军官兵就退至另一处，他们投出的手榴弹下雨一般从日军的头顶上落下。至午夜时分，台儿庄全城都在燃烧，冲天的火光照亮了整个鲁南天空。
第三十一师师长池峰城致电李宗仁，称他的部队正做“最后之攻击”，若不能成功“即自杀以报国家”：
本师昨夜做最后之攻击。官兵勇敢用命，冒最大牺牲，卒将城西北角盘踞之敌歼灭大半。残敌仍据要点顽抗。我康副师长负伤，官兵伤亡三百余。刻城内之敌除西北角少数外，东南半部仍为敌据。顷间，官兵百余人义愤填胸，自报奋勇复仇歼寇，不成功即自杀以报国家，决不生还见我长官，悲壮激昂。师今夜为沉痛之格斗。今午前敌炮仍在猛轰，寇机十一架狂炸西关，北站渐成焦土。
第二天，四月一日，台儿庄内无大战。
交战双方都已精疲力竭。
那个名叫涩谷升的日军士兵还活着：
上午六时火葬尸体，八时开始进攻，死伤者全部送至后方，下午占领和尚寺一所，全员进驻该寺，准备明天战斗。敌机投弹于该寺附近，石仓君中弹重伤，重机关枪分队长亦中迫击炮而毙，第三分队战死三名，重伤一名。
短暂的寂静中，台儿庄战局开始显现出对中国军队有利的态势：包括汤恩伯的第二十军团在内，中国军队的大批部队正向台儿庄靠拢，包围着台儿庄的日军第十师团濑谷支队和第五师团坂本支队，实际上在更大的范围内已经处于中国军队的包围中。
四月二日凌晨，台儿庄内外万籁寂静，在城外围的东北角和西北角同时出现了中国官兵的身影。孙连仲命令第二十七师挑选敢死队员二百五十人为前锋，一个营在后面跟进，从台儿庄的东北角向庄内实施偷袭。孙连仲决定在所不惜，言如能冲进庄去赏大洋五千元；如能配合城里的第三十一师把庄内的日军肃清赏大洋两万元。数百名中国官兵悄然无声地向台儿庄的东北角接近，然后突然一片呐喊向寨墙上猛爬。没有准备的日军猝不及防，反应过来时中国守军的敢死队员已经冲到跟前。战至凌晨四时，占据着台儿庄东北角寨墙的日军被全部歼灭。敢死队员们向东门和西北角方向发展，惊慌的日军在黑暗中纷纷躲进民房和碉楼里，中国官兵逐屋搜索后放火，将日军压缩至城的一角。
一个晚上的反击成效明显。天亮后，台儿庄的东门被中国军队打开，随即南门也被收复，第三十一师和第二十七师取得了联络。——这是数天来，这两支分别防御庄内外的部队第一次取得有效联络。但是，中国守军尚未巩固阵地，南下增援的日军第十联队到达战场，向庄外的第二十七师发起攻击，企图突破中国守军防线向台儿庄靠拢。
中国陆军第二集团军第四十二军第二十七师，三月二十四日从徐州以北的柳泉、贾汪抵达台儿庄战场后，一直处于外围防御的血战中。此前，没有多少人熟悉这支杂牌部队，仅知道这是原西北军中的一群粗鲁汉子。可是，自台儿庄作战开始以来，这支部队显示出前所未有的英勇无畏。他们不分白天黑夜，在与台儿庄咫尺之遥的外围阵地，没完没了地与日军进行拉锯战，坚守，失守，反击，再坚守，每一次战斗都出现巨大的伤亡，即使暂时没有阵亡的官兵也是军装破烂，浑身血污，他们被日军称为“叫化子部队”。但是，这些可以数日不睡觉，以至于连走路都东倒西歪的官兵，只要作战命令一到，就能立刻又虎狼般地向日军冲上去。他们的顽强作战，极大的牵制和消耗了直接攻击台儿庄的日军兵力。
四月二日，濑谷启亲自率第十联队主力到达台儿庄以东地区，但是横在濑谷启前面的又是中国守军第二十七师。
黄樵松师长告诉他的官兵，决不能让增援日军冲进台儿庄。
上午十时，日军三百余名步兵在十辆坦克的引导下向台儿庄开进，在彭村、上庄、陶沟桥等处与第二十七师第八十旅一五九团相撞。濑谷启立即派出两翼部队向一五九团阵地左右迂回。而在相撞的正面，双方激战至中午，日军“集中其野山炮数十门，向我阵地猛烈轰射，我潘坠、燕子井、彭村、石佛寺一带，守兵与阵地共为灰烬，孟庄、裴庄、陶沟桥、五圣堂、五窑路、辛庄等处，均与敌发生血战”。到了下午，第二十七师各阵地都陷入日军的包围，但官兵只要不死就不后退一步，以至于战场上“杀声震天地，烟尘蔽日，血雨横飞，战况之惨烈，不克名状，双方酣斗竟日未休”。
一九三八年四月二日，日本陆军《步兵第十联队战斗详报》：
研究敌二十七师第八〇旅自昨日以来之战斗精神，其决死勇战的气概，无愧于蒋介石的极大信任。凭借散兵壕，全部守兵顽强抵抗到最后。宜哉，此敌于此狭窄的散兵壕内，重叠相枕，力战而死之状，虽为敌人，睹其壮烈亦将为之感叹。曾使翻译劝其投降，应者绝无。尸山血河，非独日军所特有。不识他人，徒自安于自我陶醉，为国军计，更应以此为慎戒。本日（二日），我军伤亡官兵六十六人，而敌弃尸不下二百五十具。
不知那些中国士兵的骸骨至今是否仍散落在大运河以北的广阔田野上？
这片土地，血与泪，已成河。
鉴于日军第十联队和坂本支队都在向台儿庄地区推进，李宗仁认为围歼日军于台儿庄下的态势已经基本形成。他将第七十五军的第六师、第九十二军的第十三师紧急调至岔河地区，同时命令临沂方向的第五十七军第一一一师第三三三旅向西推进到鲁坊地区，统归第二十军团长汤恩伯指挥。晚八时，李宗仁下达了作战命令：
一、敌第十师团及第五师团之一旅，自经临沂、台儿庄诸战斗后，伤亡极大，现参加决战之兵力，至多不过五个联队，附山炮野炮五十至六十门、重炮十门、战车数十辆。其一部约一千人，在洪山镇北方秋湖附近被我军第二十军团包围，其主力向台儿庄东侧陈瓦房、凤凰桥一带运动，续向第二集团军右翼迂回攻击中。
济南、大汶口、济宁、滕县间为第十师团之另一旅团分段守备中。
二、本战区以迅速合围加歼灭敌人之目的，决于明（三）日开始全线总攻击，保持重点于第二十军团之右翼，将敌包围于台儿庄北侧地区而歼灭之。
三、各兵团任务如下：
甲、第二十军团以一部消灭洪山镇北方之敌，以主力于三日保持东南正面，向台儿庄附近之敌左侧背攻击，逐次向左迂回，务在台儿庄左侧地区将敌捕捉歼灭之。攻击开始时间，由该军团自定。因战况之进展，须随时遮断敌自峄县之退路，并对向城方面增援之敌严密警戒。
乙、第二集团军右翼与第二十军团联系，于三日全线攻击，消灭台儿庄之敌；第一一〇师准备以一旅由万里闸附近渡河，向北洛村附近敌之右侧佯攻。
丙、第三集团军前敌总司令曹福林指挥张测民支队五个团及游击总指挥李明扬所部，为堵击兵团，迅速南下向枣庄、临城合围。
……
三日，被围困在台儿庄内的日军，获悉第十联队和坂本支队已到台儿庄以东地区后，开始了孤注一掷的反击。他们用十余门平射炮向第三十一师守军阵地连续炮击，日军战机同时向台儿庄内外狂轰滥炸，日军步兵在随后发起的冲锋中使用了催泪性瓦斯毒气。此时的第三十一师，没有伤亡的官兵仅剩一千三百余人，庄内的三分之二都已被日军占领，守军仅在南关一隅苦苦支撑。池峰城师长认为，继续苦撑下去，只有全军覆没，于是请示孙连仲，要求残部向运河南岸转移阵地。孙连仲难以抉择，只有向李宗仁请示，话语说出来令人内心酸楚：“报告长官，第二集团军已伤亡十分之七，敌人火力太猛，攻势过猛，但是我们也把敌人消耗得差不多了。可否请长官答应，暂时撤退到运河南岸，好让第二集团军留点种子，也是长官的大恩大德！”李宗仁预计汤恩伯第二天即可到达台儿庄，如果此时让第二集团军放弃坚守，那么之前中国军队在台儿庄内外的所有苦战都将功亏一篑。鉴于此，他给孙连仲的答复是：“务必守至明天拂晓，如违抗命令，当军法从事。”——李宗仁后来回忆说：“我向他下这样严厉的命令，内心很觉难过。”他们过去没有过交往，仅在第二集团军调至第五战区后，在徐州的战区指挥部里有过一面之交。孙连仲最后这样回答了李宗仁：“绝对服从命令，整个集团军打完为止。”
此时的第二集团军，连预备队都用光了。
当池峰城师长再次打来电话，询问是否可以转移阵地时，孙连仲的回答是：“士兵打完了，你就自己填上去；你填过了，我就来填进去。有谁敢退过运河，杀无赦！”
孙连仲，一八九三年生于河北雄县。虽家境殷实，不必当兵，但他立志从军，一九一二年入北洋军第二镇八标二营八连任学兵。北洋陆军各镇在清帝退位后改为师，孙连仲被选入冯玉祥部第十六混成旅炮兵营任班长。他身材魁梧，胆识过人，曾在护国战争中一人扛着二百多斤的山炮带着他的部队包抄对手后路。因作战沉着勇敢，由营长、团长、师长、军长一路升迁，至北伐战争时已是方面军总指挥。卢沟桥事变爆发后，作为第二十六路军总指挥，孙连仲要求他的官兵“报效国家、挽救危局，以尽军人天职”。他率部奔走于北平南部、河北涿县、山西娘子关战场，及至奉命坚守台儿庄，孙连仲面对的是他投身行伍以来前所未有的严酷考验。
孙连仲亲自进入台儿庄内，在守军苦撑着的东南一隅督战。他把右翼作战不利的一名旅长撤了，当众枪毙了左翼一名贪生怕死的营长，然后开始组织敢死队。当跟随着孙连仲的军需官把身上仅剩的大洋分给敢死队员的时候，敢死队员们把大洋扔在地上说：“我们以死相拼，为的是报效国家，不是为了几块大洋。”孙连仲见状不禁放声大哭。
先锋敢死队数百人，分组向敌逆袭，冲进敌阵。人自为战，奋勇异常，部分官兵手持大刀，向敌斫杀，敌军血战经旬，已筋疲力尽，初不意至此最后五分钟，我军尚能乘夜出击。敌军仓皇应战，乱做一团，血战数日为敌占领的台儿庄市街，竟为我一举夺回四分之三，毙敌无算，敌军退守北门，与我军激战通宵。
与此同时，在庄外防御的第二十七师官兵也面临着最后时刻。
三日一大早，日军第十联队向第二十七师阵地发射了两千余发炮弹，阵地工事连同附近的村落皆被夷为平地。然后，在四十多辆坦克的掩护下，日军步兵不顾一切地向台儿庄方向突击。第二十七师连日血战，伤亡惨重，能够作战的官兵已不足千人，致使日军相继冲入园上、孟庄、邵庄等村庄，第二十七师仅剩的官兵不得不用身躯与凶悍的日军展开决死拼杀。在彭村防御的是王景山营长指挥的营部和五连，当日军冲进村庄时，王营长赤裸着上身对官兵们喊：“今天是本营长和全营殉职报国的最后一日，只有杀敌，不计生命！”官兵们跟着王营长死拼不退，及至全部战死。王营长一人砍杀日军十二人，最后身中数弹倒地。——“敌恨之刺骨，死后犹被敌乱刀肢解。”
三日晚，台儿庄内外中国守军无不期待着汤恩伯部立即出现。
但是，直到四日，汤恩伯部队依旧没有抵达台儿庄。
凌晨，已经衣衫破烂的守军守备连，把被日军摧毁的庄内防线修复好。上午，日军集中了三十余门重炮向庄内轰击，使用的全是燃烧弹，“时东南风甚大”，庄内再次燃起凶猛的大火，之前仅存的一幢建筑物被彻底焚毁。大火中，日军向东南角和北门同时发动进攻，但都被中国守军击退。第三十一师再次组织起两百人的敢死队，在重迫击炮的掩护下向城隍庙反攻，里面的日军拼死抵抗，攻击没能成功。
这一天，在台儿庄以北的外围线上，准备围歼日军的中国军队陆续抵达，汤恩伯的第十三军第一一〇师向北洛、泥沟发动袭击；李仙洲的第九十二军第十三师一部抵达台儿庄浮桥接防；周碧的第七十五军第六师一部也向当面日军发动了攻击；王仲廉的第八十五军第八十九师凌晨三时占领了朱滩和荣庄等村庄。
只是，对于坚守台儿庄的第二集团军来讲，所有的增援都已经是太晚了。苦等汤恩伯不到的孙连仲于四日晚再次下达手令：
一、今是我们创造光荣之良机，也是生死最后之关头，不死于阵前，即死于国法。本总司令将以成仁之决心，与台儿庄共存亡，亦必执行连坐法，以肃军纪。死为光荣而死，生为光荣而生，希我官兵共此努力。
二、训令本集团军：慎保本军守无不固之精神，发挥娘子关歼灭敌七十七联队之伟绩，今只有前进，绝无后退之途，过河者死，誓以破釜沉舟之决心，深信必操必胜之信念。
此时，再严厉的“杀无赦”，对于第二集团军的官兵来讲，已没有什么实际意义了，因为他们所有的生命活力，都在撑持日久的血战中消耗尽了。
四日，《东京朝日新闻》登出的战况显露出罕见的悲伤：
恃众之敌，更增加部队，以五个师的兵力来袭。敌在运河南岸阵地，把五十门大炮排列成阵，不分昼夜，集中射击。所有民家均装置枪眼，机关枪、步枪乱射，城壁及屋顶，手榴弹如雨点乱飞。安永部队、大村部队的勇士，潜入枪林弹雨，在敌兵密集的民家，一户一户地扩张战果，连日连夜之死斗，不饮不食负着枪伤，筋疲力竭地匍匐前进，往击敌人，子弹渐渐打完。没有子弹，把敌人杀死，夺其手榴弹，捡起敌人投来的手榴弹，再投回去。敌人退路已断，拼死迎战，以致城内的死尸累累，途为之塞，变成凄惨的修罗场……安永、中川两部队长业已负伤，伊藤敏雄、奥谷勤两部队长，金田幸弘、宫川喜一、市村满各少尉倶在台儿庄战死……
五日，汤恩伯的部队距台儿庄仍有近二十公里。
蒋介石终于忍无可忍了：
台儿庄附近会战，我以十师之众，对一师半之敌，历时旬余，未获战果，该军团各居敌侧背，态势尤为有利，攻击竟不奏功，其将何以自解！即应严督所部，于六七两日，奋勉图功，歼灭此敌，毋负厚望，究竟有无把握？仰具报！
蒋介石很少对中央军嫡系部队将领如此质问连带斥责。既然委员长要求他“毋负厚望”，汤恩伯立即回复蒋介石，说他“已严令各军速向台儿庄攻击前进”，今明两天就能将当面日军“压迫于台儿庄北岸而歼灭之”。
第二十军团“攻击前进”的部署是：
第七十五军以一部巩固岔河镇东南、西南一带据点，主力则向萧汪、东庄、台儿庄方向攻击前进；
第八十五军向低石桥、燕子井、岔河山、刘家湖一带攻击前进；
第五十二军一部巩固洪山镇、兰陵镇，主力向泥沟、北洛方向攻击前进。
然后，汤恩伯主动给第三十一师师长池峰城发去一封电报，声称如果六日中午十二时第二十军团还没赶到台儿庄，“恩伯愿受军法处分”——此时，距汤恩伯承诺回旋台儿庄的最晚时间，已经过去了整整十四天。
五日当晚，汤恩伯指挥的部队全线进入攻击地域，并随之向当面日军发起了攻击。日军坂本支队的后方完全被汤恩伯部切断，其所需给养必须从濑谷支队那里获得，而濑谷支队在台儿庄战场的正面，坂本支队在台儿庄战场的东北方向，日军自此开始出现混乱。
毫无疑问，日军如果从台儿庄败退，将是日本陆军史上的耻辱。因此，无论当时还是战后，日本战史对一九三八年四月五日台儿庄战事的叙述始终含糊其辞。据说，坂本支队接到了第五师团的撤退指令。——日本人从来不愿意使用“撤退”一词，就像他们给侵略找出过一个又一个替代词一样，他们把撤退一律叫作“转进”：“支队迅速歼灭当面之敌后，应即转进攻下沂州”。这就是说，第五师团的坂本支队，不能与第十师团的濑谷支队一起，冒着陷入中国军队重围的危险，继续在台儿庄附近待下去了，应迅速向临沂方向撤退。
五日晚八时，坂本支队致电濑谷支队：“支队为攻占沂州，奉命返回，预定明六日日没后开始行动。”濑谷启的沮丧可想而知，但又没有办法阻止。入夜，可能认为把濑谷支队单独丢下实在不妥，坂本支队决定推迟撤退时间，试图与濑谷支队配合行动：“支队虽奉命返回沂州，但拟给敌一击，希濑谷支队攻击该支队背面之敌背后。”谁知，濑谷启得知坂本支队即将撤退后，已于六日早七时下令部队“迅速结束台儿庄的扫荡讨伐”。为此，第五师团参谋奥信夫少佐极为不满：“我支队虽与濑谷支队紧密联系，但至六日夜，濑谷支队不做联系而后撤至泥沟，对此不做任何表示甚感遗憾。昨七日夜之返回，乃是在敌枪炮火力迫近下进行的。”其实，濑谷支队的后撤是请示了第十师团的：“暂时离开台儿庄，兵力集结于后方。”尽管师团长矶谷廉介不同意，认为没有夺取台儿庄很丢面子，但濑谷启还是不顾一切地“转进”了。
日军士兵涩谷升也在撤退的行列中：
与林原君两人舁足立君之尸体至收容所，途中迫击炮纷纷飞来，非常担忧。尸体舁至火葬场时，敌弹愈射愈烈，我伏于望远楼中。稍待，大队部再次中弹三名，第八中队八名亦倒毙，第三小队亦舁尸体前来。下午七时，收拾死伤兵之枪支，大队部无法支持，退至河浜附近，敌弹愈射愈猛，牺牲数百人之生命占领之场所又被敌方夺去。我队含泪跟随大队部后撤，退却时向战死者暂告惜别，且将所有房屋放火焚烧。
六日，日军的撤退仓皇而狼狈，大量的尸体和军用物资丢弃在台儿庄内外。池峰城的第三十一师残存官兵，以密集的火力和手榴弹封锁日军撤退通道，大量日军在撤退时被击毙，一些终无法冲出的日军开始自杀：“台儿庄城内之敌，时有猛烈之战斗，二十时顷，将文昌阁之弹药及炮等举火自焚，敌兵投火者百余名。东北之敌已肃清，其东南之残敌亦举火自焚，致东南之房舍为烈焰所吞没，我官兵亦伤亡。时有潜匿掩蔽之敌，经我招降未效，遂投火焚杀之。凌晨四时，台儿庄遂完全收复，已一片焦土矣。”
四月七日，李宗仁下达了全面追击的命令：
一、台儿庄附近经我孙、汤两军击溃之敌，现向峄县方向逃窜中。
二、汤军以一部肃清战场，以主力由台、枣支路（不含）以东，沿夏庄、马山、九山、潭山以南地区向峄县追击前进。
三、孙军指挥张轸师（第一一〇师）由台、枣支路（含）向峄县追击前进。
四、曹福林（堵击兵团）应于峄县以北地区截击敌人，勿使窜逸。
五、敌如退据峄县城，孙、汤两军各以一部占领峄县东、西方高地，主力协同击灭城外敌之野战军后，围攻峄县城。
六、敌如以峄县城为后卫阵地，孙、汤两军各以一部监视之，主力尾敌穷追。
七、孙震军（第二十二集团军）应由新闸子渡运河，追击韩庄方面之敌。
八、李仙洲师应继续经向城向东，扫荡临沂以西之残敌，向临沂前进。到达后归张军长自忠指挥。
九、予在铜山（徐州）。
七日，汤恩伯的第二十军团第五十二军主力，在底阁、杨楼一带与日军激战后将其击溃；第八十五军第八十九师主力攻击大顾栅；第四师和第八十九师各一部联合攻击关庄、辛庄等地。孙连仲的第二集团军冲出台儿庄后继续追击，一七五团相机占领邵庄和裴庄，一八二团占领了刘家湖。同时，孙震的第二十二集团军渡过运河后向韩庄发起追击。孙桐萱的第三集团军第五十五军则在峄县以北堵截着日军。当晚，濑谷支队撤到峄县附近固守待援。
从九日直到十一日，中国军队全面迫近峄县，日军坂本、濑谷两支队集中兵力建立起坚固的阻击阵地，致使中国军队的追击进展缓慢且伤亡甚大。即使是汤恩伯武器装备尚好的第二十五师，一夜之间也会“伤亡达五六百人之众”。——“战况之烈，于此可见。”
台儿庄内的日军肃清后，有中国记者进入了这座已成废墟的运河小镇，他们首先见到的是第三十一师师长池峰城：“他的头发和胡子都长得很长，嗓子已经哑了，面色有如无光的黄纸。”接着，记者们看到台儿庄满地的残垣断壁间，到处是没有来得及收殓的双方官兵的尸体，日军在撤退时对其遗弃的尸体进行了焚烧，此时成堆的残肢依旧在冒着白烟。
日方统计，台儿庄作战，第五师团战死一千二百八十一人，负伤五千四百七十八人；第十师团战死一千零八十八人，负伤四千二百三十七人。日军总计伤亡过万，但“甚少被俘”。
台儿庄胜利的消息，飓风一般迅速传遍全中国。
“日军毕竟不是不可战胜的。新的抗战希望将过去的悲观情绪一扫而光。这场胜利使人们自战争爆发以来第一次感到欢欣鼓舞。”
……在每个人的手里，都拿着一张各报馆临时出的号外，在每个人的嘴边，都挂着无限的欢笑，逢着人就说：“台儿庄我们大获胜利，消灭敌人精锐部队一万多，你知道了没有？”家家户户都悬起了国旗……震人的鞭炮声自始至终不断地响着，这里停了，那里又响起来，那蒙蒙的烟雾和腥辣的火药味，像带着骄傲和光荣，永远飘浮在空间……下午七时，在武昌，一万余人集合在公共体育场；在汉口，二万余人集合在特三区江边、运动场，一万余人集合在中山公园，又复在府西一路会合，每个人手里执着一个火炬，熊熊的火焰照见了每个人脸上浮着的异样光彩……“啊！今天，四月七，兴奋了我们，刺激了我们，鼓励了我们，又给予了我们一个信念，长期抗战下去，我们一定会获得最后的胜利。”……
此刻的中国军队统帅部里并没有这般兴奋。
中国军队的追击行动过于迟缓，以至于蒋介石的德国军事顾问法肯豪森将军气得“狠命揪自己的头发”。美国驻华武官史迪威上校告诉蒋介石：“要向前推进，要发动进攻，要乘胜前进。日军很快就会把八到十个师的部队调到徐州前沿，到那时就来不及了。”蒋介石也意识到了问题的严重性，他担心如不迅速歼灭当面之敌，等来的只能是日军大部队的增援。十二日，蒋介石致电李宗仁和白崇禧：
台儿庄之捷已逾五日，峄、枣、韩、临尚未攻下。踌躇审顾，焦虑至深。以乘胜之军更加主力部队追援绝溃惫之寇，不急限期歼灭，一旦敌援赶至，死灰复燃，是无异隳已成之功而自贻将来之患。
然而，李宗仁的难处是：孙连仲的第二集团军经过半月多苦战，根本没有实力再对日军形成猛烈追击，而实力依旧的汤恩伯部一向的作战原则是避免攻坚。因此，李宗仁向蒋介石建议：避免与日军发生正面攻坚作战，采用机动作战的方式诱敌出动，然后相机实施歼灭。——实际上，这等于让位于鲁南前线的中国军队放弃了追击。
无论如何，中国军队在台儿庄作战中赢得的胜利，在国际国内都产生了不可估量的影响。路透社一九三八年四月八日电：“中国一方面借其伟大之顽强，屡次摧毁向之侵略之敌人；一方面又开始发见其军事才能与团结力量，今似已明白警告日人，日本最多仅能占有中国土地三分之一，但其代价与牺牲已非日人所能忍受。”—九三八年四月十日英国《新闻记事报》：“中国胜利之真实价值，不能以收复之地面积大小来表示，而应以日本所消耗之时日与弹药来估量。因为这种消耗，对日本是非常不利的……我们依据这种显示标准来评论中日两国的战事，那么中国是无日不在胜利中。”——而一个活下来的中国守军士兵，告诉战事平息后进入台儿庄的外国记者：我们必须在这里一战，不然连死的地方也没有了。
一九三八年四月八日，蒋介石致全国同胞：
军兴以来，失地数省，国府播迁，将士牺牲之烈，同胞受祸之重，创巨痛深，至惨至酷，溯往思来，祗有悚惕。此次台儿庄之捷，幸赖我前方将士之不惜牺牲，后方同胞之共同奋斗，乃获此初步胜利，不过聊慰八余月来全国之期望，稍弥我民族所受之忧患与痛苦，不足以言庆祝，来日方长，艰难未已，凡我同胞与全体袍泽，处此时机，更应力戒矜夸，时加警惕，唯能闻胜而不骄，始能遇挫而不馁，务当兢兢业业，再接再厉，从战局之久远上着眼，坚毅沉着，竭尽责任，奋斗到底，以完成抗战之使命，求得最后之胜利。幸体此旨，共相黾勉为盼。
台儿庄之战，中国军队付出了两万多名官兵的生命。
两万多个年轻的躯体，消融在流淌了两千多年的大运河畔。
李宗仁和白崇禧根据情报判断：日本从国内增兵中国战场，以期“及早解决华北战局”的计划已经取消，如果能够调集中国军队的所有主力，“集中所有力量”在峄县一带发动全面攻势，也许可以一举确立中国抗战的“胜利基础”。
事实上，除了认为台儿庄的挫败“不符合日本陆军的传统”，继而将作战不利的濑谷启免职之外，日方并不以为这场挫败会影响整个战局。事实上，日军已经策划并部署了针对中国军队的更大规模的进攻。正如美国人史迪威上校所预测的那样，中日两军一场更大规模的混战已经迫在眼前。
日军士兵涩谷升四月七日日记：
台儿庄撤退后，上午到达泥沟，四面桃花盛开，春景颇佳。
不知经历了残酷血战还活着的中国士兵们，是否也注意到了在自己誓死守卫的国土上竟然有着如此盎然的春意？