葛先才费尽口舌，终于说动方先觉同意收缩兵力，准许第190师撤离江东岸。
此时已是深夜二十二点，葛立即电话告知190师潘质副师长：“老弟，难题解决，开始撤离东岸行动！按原计划尽速执行，争取在拂晓前撤离完毕。我转告第3师周师长几炮兵营张营长，必要时，你们直接与第3师江防部队和炮兵营联系。”
“明白！我即与他们联系。多谢你老兄，到时我们师长请你喝酒！”潘副师长说。
“你还是先安排撤离的事，特别是步炮协同的事。酒先给我留着！”
潘质十分明白，此次撤离成功与否，行动突然性和步炮协同非常重要。备战期间，炮兵已将城区四周射击各点测量计算好了，当步兵要求炮火支援时，只需告知地区位置及炮击起止时间即可。炮兵很快就能调整好炮位发射。如弹着点有偏差，步兵阵地上有炮兵观测所，可立即通知炮兵阵地修正，既可避免误击，又可让炮兵发挥最佳火力覆盖效果。
经过周密的部署，凌晨一时，在潘副师长通知炮兵支援的同时，容有略师长沉稳地下达了撤离命令。
只见信号弹嘶的一声划破夜幕，西岸的军属山炮营一阵急促的齐射，呼啸的炮弹带着耀眼的光亮越过湘江砸到敌军阵地上；我步兵也同时向敌人猛烈开火，然后迅速脱离敌军，湘江岸边急进。
日本军不知就里，一时搞不清国军的意图，还以为中国军对又发起了对机场新的反攻。手忙脚乱，好一阵才稳住阵脚，慌忙组织防御。
就在日军查明情况时，容有略师长已率领第190师师部渡过了湘江，很快与第3师周师长见面，按军部命令全面接管了第3师移交的阵地的指挥权。
随后，第190师各部队一批接一批顺利渡过了湘江，在西岸师部派出的参谋人员的带领下，迅速开到预定地区，一一接替了原第3师草桥、石鼓嘴至江防一线的防御阵地。
等日军明白过来，赶紧派兵追击加大炮拦截。无奈为时已晚。
这次成功撤离江东岸，两艘渡轮的船长和船员功不可没。他们不讲价钱，不顾危险，加大马力，来回不停地行驶，船行快速而稳定，未出一点差错，有力的保障了部队按时胜利渡江。
就在我军掩护部队最后上船开渡时，周船长被追击过来的日军射穿左耳，当即血流如注。担任掩护部队指挥的2营营长张里桂少校命令道：“快，快扶船长进船舱休息！”
“不要管我，立即开船，加速前进！”周船长朗声道：“想想那些不惜牺牲、浴血疆场的将士们，我流这点血算什么？拼上这条老命也要将东岸的国军全部安全运送过江！”好一条湖南汉子，毫不畏惧，骡子般憨厚、倔强而勇敢。
此后不久，暂54师饶少伟师长也按令，率该师师部和一个营的兵力顺利地渡过了湘江，接替第190师的部分江防阵地。
战至6月26日晨，为收缩兵力，保持战力，我军在江东岸的阵地全部放弃。中美联合空军的重要基地衡阳飞机场和“扼两广、锁荆吴”、粤汉铁路中途最大的交通枢纽——衡阳火车站为敌占领。
为此，中美联合空军司令官陈纳德将军气得大发雷霆，好几顿没吃好饭。
国府蒋委员长更是受到来自史迪威的攻击，说国府腐败，蒋指挥失当，国军不堪一击，建议美国总统罗斯福将支持的重点放到印缅战场，迫使蒋将近10个师的全新美式装备的国军精锐部队组成远征军开赴印缅战场，配合驻印军，帮助英美联军收复印缅。为了不得罪美国，为了早日打通滇缅公路、修通印缅公路，蒋不得不委曲求全，满足了史的要求。但对美国要蒋交出全部华军的指挥权的无理要求却加以拖延惋拒。
史迪威则得寸进尺，甚至要美国弃蒋而扶持其他巨头替蒋而代之；还建议扶持中共部队，以拖住在华的数十万精锐的日本陆军部队，减轻美军在太平洋战场上的压力。但客观上结果是造成了国军指挥上的混乱和无序，各个派系互相猜忌，只顾保存实力，观望不前，救援不力没有像前三次长沙会战一样同仇敌概，密切配合，奋勇杀敌，达成打败敌军之空前团结。而美驻昆明、成都等地的空军也因此袖手旁观，未能给第10军以有力的空中支援和对日军自武汉、长沙而至衡阳的漫长补给线予以有效的空中打击。
蒋史矛盾日趋激化。这对日后的衡阳保卫战产生了无形的压力。蒋希望第10军打出战力，打出水平，打出国威，打出新的希望，向盟国证明华军是能打善战的。第10军打得越好，蒋在盟国面前越有面子，也越有话语权。所以蒋委员长多次打电话给方先觉探斗志，打气助威。而校长的这位学生开始确实给足了面子，只可惜命运不济，终至虎头蛇尾，力竭而弃战。虽然情有可原，但实在是功败垂成啊！这是后话。
这时，日军的第六十八师团、第一一六师团和独立步兵第五旅团已完成对衡阳的包围。除各师、旅团直属的炮兵大队外，还配属第一二二独立炮兵联队，共计约55000人。
此前，日军与华军交战，一般一个师团对华军三到四个军；现在以将近三个师团并附有大量炮兵、坦克和空军支援的强大兵力，对付残破不全、装备不济的、只有17600余人的华军一个第10军，岂不是绰绰有余，攻取衡阳有如探囊取物，瓮中捉鳖，只在一日之间矣。
想到这里，日军第11军指挥官横山勇司令官自然显得志在必得，轻松而得意。
6月26日清晨，就在第190师安全撤回西岸的同时，横山勇下达了攻击衡阳城的命令。一时间，照明弹、信号弹照彻夜空，大炮呼啸轰鸣，枪声犹如大年三十夜的鞭炮声密集而连绵不断，迫击炮弹、手榴弹的爆炸声震耳欲聋，两军的殊死搏杀正式揭开序幕。