长沙失陷后，日军分成数路纵队，夹湘江西岸大举南下。数日间，湘乡等诸县未经激战即先后失守。
在长衡会战中，蒋介石和薛岳从一开始就出现了很大的战略分歧。蒋介石要薛岳坐镇湘江以西，固守湘桂路与湘西，不让日军动摇西南大后方。薛岳则坚持不到湘江以西，认为必须固守湘东南，不让日军打通粤汉路，进而与香港取得联系。
为了贯彻个人的主张，薛岳只留第四军守长沙，第十军守衡阳，而把司令长官部移驻于湘东南位于湘赣边境的桂东，各部队也被陆续转移到桂东。薛岳的这一指挥失误，事后被认为是长衡会战失败的关键所在。
继第四军兵败长沙，衡阳的第十军又马上成为被日军包围的孤旅。按照赵子立的意见，即便这样，此时若能把绝大多数部队集中在湘桂路方面，向衡阳西南面发起反攻，仍有可能为第十军解围。
奈何薛岳就是不肯动身到湘西去，许多部队被分散在湘东两三百公里的区域内，且重点不清，毫无力量。赵子立最为看重的衡阳以西，只有王耀武兵团在活动。由此还出现了一个奇特的现象，即湘江以西的部队由军委会直接指挥，薛岳只负责湘江以东的作战指挥，到后来他所负责的部队也已经被日军冲得七零八落。
衡阳是中国军队的核心防守阵地，也就是“核心地带”。横山勇知道中方会以重兵坚守，外围也会不时投入战略兵团，因此他要求抓紧时间，不惜一切代价予以攻占。
方先觉指挥第十军死守衡阳，随着阵地的日益缩小以及援兵不至，官兵士气逐渐消沉。他们对薛岳移师桂东，未出全力增援，都感到极为愤恨，零星脱险的士兵痛骂薛岳指挥无能：“几次长沙大捷（指第三次长沙会战前的‘大捷’）都是吹牛，第三次长沙会战要我们第十军死守长沙，这次又派第十军死守衡阳。我们已死守了这么多天，（他）把我们置之死地而不顾。”
有可能为衡阳的解围的只剩下王耀武兵团。此时王耀武除指挥第二十四集团军外，还能调动第七十九军、第九十九军以及失守长沙的第四军残部，号称有十七个师的规模。不过这些部队自六月初就投入了战斗，多为建制残破的久战疲师，战斗力已大不如前，难以在日军的阻击线上形成突破。同时兵团内想保存实力，甚至对第十军心存嫉妒的也不乏其人。第二十四集团军下面的一个军长私下就说：“如果衡阳解了围，方先觉岂不成了个人英雄？”
就在各部或真的力不胜任，或犹豫观望的时候，王耀武决定再次动用“虎部队”。长衡会战初期，王耀武只从七十四军中抽调五十八师随其一同进入第九战区作战，五十一师和五十七师都被第六战区留在常德附近担任守备。直至6月底七7初，五十一师和五十七师才得以归建并全部投入会战。
7月中旬，七十四军军长施中诚得到命令，限以急行军方式赶到衡阳以西的金兰寺、鸡窝山一线，以解衡阳之围。
七十四军的三个师也并非都处于最佳状态。五十七师在常德会战中几乎伤亡殆尽，战后开赴桃源整补训练，经过三个月的整训，才刚刚恢复战斗力。五十八师在宁乡保卫战后，又与日军第四十师团在永丰缠斗，部队损失也一直没有时间进行补充。算下来，只有五十一师的情形要稍好一些。在行军阵型上，施中诚以五十八师居前，五十一师在后，五十七师进行侧翼掩护。
第一个目标金兰寺在衡阳西南四十多公里处，原为第七十九军一个营驻守。日军包围衡阳后，为巩固衡阳外围，日军第四十师团派黑须大队攻占了此地。
最初收复金兰寺的任务，系由第一百军承担。7月20日，第十九师以一部断敌退路，主力在攻占金兰寺前的店铺和村庄后，逐步将敌人压缩至金兰寺内。
金兰寺是一座砖石结构的小庙，但日军利用周围地形，把它打造成了一个易守难攻的据点：除以庙内的砖石建筑物负隅顽抗外，庙前的大树有轻机枪手进行俯射，庙后的小高地上还建有防守工事。
第十九师乃增派部队，先将寺后高地予以攻占，接着又集中迫击炮和重机枪，摧毁了树上的俯射火力点。只剩下寺庙无法攻入，对于这样的坚固据点，无论迫击炮还是重机枪都难以逞其技，必须得动用山炮，可是十九师连山炮都没有。盟军飞机几度对金兰寺进行轰炸扫射，也因为寺庙缩在山窝里面，难以命中。
围攻了一周，仍然一筹莫展。第一百军军长李天霞采取了一个投机取巧的办法，他指示十九师想办法将国旗插在寺前树上，以便使盟军飞机看到后，可以向上报告，说第一百军已攻取了金兰寺。
在担任团长至师长时期，李天霞并不乏七十四军将领所惯有的勇猛果敢，但后来便一意热衷于打巧仗、便宜仗，他的这个馊主意可害苦了十九师。为了插旗，十九师连续多次派敢死队员爬上树，但都遭到了日军的狙击，旗未插成，倒白白死伤了九个人。
7月23日，张灵甫挥师出击。五十八师在击退向金兰寺增援的敌军后，紧接着便会同十九师一道向金兰寺发起猛攻。五十八师有军配属的山炮连，在炮兵的支援下，他们摧毁了日军的铁丝网前缘工事，黑须大队余部见势不好，赶紧从东面突围逃跑了。
7月28日，王耀武督令兵团各部向衡阳西南郊全面攻击前进，但是第二天日军援兵一到，各部便全线后退，只有五十八师和十九师在继续向衡阳挺进。两天后，他们迫近衡阳近郊，并与守备该地的日军第四十师团第二三四联队展开殊死搏斗。