日军第六十五联队在慈利屡攻不下，让师团长赤鹿理中将很是不爽。11月20日晚，在参谋长的陪同下，他来到第六十五联队本部，阴沉着脸对伊藤联队长下达严令：“今晚一定要迅速突破当面之敌，进入指定地点！”
无功受赏，固然会令人头轻脚重，而明明看得战功就在前面，却无论怎么伸手都捞不到，也够让指挥官苦恼和焦虑的。上司不顾实际情况的死逼，则更增加了伊藤的这种情绪，然而为全局着想，他也只能把那些眼睛已经熬得通红的部下们组织起来继续作战。
晚上六点，第六十五联队经过强行突破，仅仅占领了防守阵地的一角。一个小时后，仍未取得任何进展。伊藤急了，便亲自指挥联队步部随步兵大队突进。
这时天色黑得像墨团。联队本部跟着跟着跟丢了，伊藤只能一边前进，一边通过无线报话机来了解各大队状况。
为阻遏日军的夜袭，五十一师、五十八师各派一个营向日军两翼出击。就是这次出击打了日军第六十五联队一个措手不及，日军立刻陷入混乱之中，伊藤拼命向周围呼叫，但各部都忙于混战，联系很快就中断了。
在这场防守反击战中，七十四军采取以攻对攻、以袭对袭的战术，不仅成功击退日军第六十五联队的攻势，还缴获机步枪三百余支、骡马四十余匹以及诸多军用品。
伊藤在失去与部队的联系后，只得孤军前进，行至夜半时分，在余儿垭北侧高地遭到包围。当时联队本部除指挥机关外，仅有一个军旗小队可用以作战，众人全都傻了眼。
11月21日拂晓，七十四军的攻击逐渐加强，而伊藤依然未能与他的部队取得联系。下午一点三十分，一枚手榴弹在军旗下爆炸，伊藤右腿被弹片击伤，三名卫兵或死或伤，联队本部几乎就要支持不住了。熬到下午四点，大场大队的一部赶到，这才把惊魂未定的伊藤从危机中给捞出来。
除与日军第六十五联队进行较量外，七十四军还击退了其他单位日军发起的攻击，防守主阵地屡失屡得，反复争夺达四次之多。五十一师营长张集光在冲杀中阵亡，另一名营长周德民负重伤不退，率部生俘日军第三十四师团六名士兵。
当天晚上又发生了惊险的一幕。五十八师炮兵营营长刘炳均率领全营在村中待命，为了解补给情况，他给军部兵站打了个长途电话。兵站站长告诉刘炳均，日军绕道袭击了后方，现在已到达龙潭河，他们兵站正准备搬家呢。
过了不久，军部经过炮兵营所在村庄，刘炳均看到王耀武的随从副官也在其中，便问他军部要到哪里去。
不问犹可，一问刘炳均被惊了一跳，因为军部要去的地方正是龙潭河。
刘炳均说：“那里现在有敌人，非常危险，难道你们不知道？”副官茫然不知，显见得兵站所获知的敌情，应是军部在出发路上发生的事。
刘炳均急忙拉着副官去找王耀武。见到王耀武，刘炳均把前后经过一说，王耀武也大惊失色，问电话还通不通。刘炳均点头说通，王耀武马上说：“走，到你们营部去。”
到了炮兵营营部，王耀武接通兵站站站长的电话，问明情况后，又在军用地图上察看了一会，当即决定变更部署，同时将军部移向新的地点。
如果不是刘炳均及时报告敌情，军部很可能在毫无准备的情况下遭到日军的夜袭。这是王耀武出任七十四军军长以来第二次遇险，事后他连称侥幸，也对部下的救护之恩铭记在心：“到底他（指刘炳均）是跟随我多年的人，才会这样关心啊！”
迂回龙潭河的是日军佐佐木支队。王耀武用半个小时，亲自给各部打电话，部署应对措施。接到命令后，五十一师、五十八师各从正面抽出一部，会同军直属部队对佐佐木支队进行夹击，粉碎了其突袭七十四军指挥机构的计划，但五十八师侧翼已遭割裂，若硬顶下去，正面阵地势必遭到包围。
11月22日，五十一师、五十八师主力被迫撤出慈利，将阵地转移至漆家河以南。这一撤离，意味着常德西面门户大开，但对七十四军外围部队来说是有利的，因为他们可以与十九师合兵一处，处于更好的外线攻击位置。
此时一百军已集结完毕，王耀武兵团（含七十四军与一百军）奉战区命令转守为攻，试图打通与五十七师的联系。日军第十三师团与佐佐木支队则向黄石、九溪收缩，以阻止七十四军向常德东进，掩护其正在进攻常德的主力之侧背。