长沙失守，蒋介石为确保衡阳，决定在渌水至衡山地区采取“中间堵、两边夹”的战略手段，将长沙地区之敌，屏障于渌水以北。蒋介石电令第九战区司令长官薛岳，迅速调整部署，以达成以上战略目的。蒋介石电令大意为：
一、令第10军守卫衡阳城。
二、令欧震将军率第37军、暂编2军，在禄水至衡山间沿铁路线和湘江两岸正面占领阵地，堵住南侵之敌。
三、令川军王陵基第30集团军所部第72、第58、第26三个军，和川军杨森第27集团军所部第20、第44两个军，在湘江东岸由东向西进攻醴陵地区之敌，令王耀武第24集团军所部第73、第79、第99、第100四个军，和第4军一部，在湘江西岸，由西向东攻击，与东岸川军形成对击夹攻之势，斩断向南进攻之敌。
由于战场形势急变，蒋介石的战略企图变成了“画饼”。
薛岳接到蒋介石电令时，第九战区仍在执行“各部队索敌攻击”命令，实际上是各部队均处于被敌追踪攻击状态，根本无法收拢部队，组织实施蒋介石的战略计划。直到6月23日，薛岳才与各部取得联系，下达各自的集结地点和攻击目标。但这时的战场形势已大大变样，为时已晚了。由于薛岳把第九战区的残余的部队，集结在湖南与江西交界的一带，企图等日军深入之后，反击日军的侧后。但是薛岳的这个布阵，却遭到日军主力兵团向东旋转的多路围攻，因此不但无法发挥侧翼包抄日军的效用，反而让南方的衡阳阵地，出现兵力支援分配不足的危机。
日军在攻占长沙的同时，横山勇对衡阳发动长距离的奔袭突击，日军第六八师团（佐久间为人）与一一六师团（岩永汪），沿着湘江东西两岸，分途包抄衡阳；第六八师团的决死突击队，在六月二十六日半夜，攻占了美军在华最大的空军基地衡阳机场，得到了日皇亲自的传令嘉奖。直到6月23日，薛岳才与各部取得联系，下达各自的集结地点和攻击目标，但这时的战场形势已大大变样，为时已晚了。
衡阳机场位于衡阳市东郊，湘江东岸的八尺岭下。由于日军此次作战目的之一便是破坏国军西南的机场体系，而且日军为掩护部队达成一号作战中打通粤汉南段铁路的目的，其必然要夺取更接近战线的前进机场，因此衡阳机场就成为两军必争之地，于是战区将警备机场的暂编五十四师〔欠两个团〕配属给第十军，由第十军全权指挥。
六月一日，第十军军长方先觉与所属各师师长、参谋人员以及专程赶来的美军准将贺克一起制订了衡阳防御计划。其中为掩护机场和衡阳东面，在湘江东岸布置了第一九○师和暂编第五十四师，前者在南，后者在北。然而布置刚刚开始，十三日，原担负衡阳城北防御的新编第十九师奉命调往全州，因此兵力本来就不足的衡阳守军更加捉襟见肘。方先觉不得不调整了部署，安排如下：
1、军辖之第一九○师以一营附师战防炮连在泉溪市耒水河西岸新码头建立前进据点，以一部于湖南岸铁路经湖之西岸、湾塘至蜈蚣桥之线，占领警戒阵地；主力占领五马归槽、橡皮塘、莲花塘之线，构成据点阵地，保持重点于右翼。
2、战区配属之暂编五十四师一个团以一部于东家湾至何家山之线，占领警戒阵地；主力占领冯家冲，沿耒水河左岸至耒水河口之线，构成据点阵地，重点保持于左翼。
国军打算利用既设阵地，逐次消耗敌军，达到阻滞敌人快速推进的目的。此外，由于衡阳机场的军事价值，因此在国军的预定方案中决定，在最后机场失守前，必须实施彻底的破坏，以免被日军轻易利用。由于第十军各部久历战阵，因此构筑的工事的分布和技术性都很得要领。在湘江东岸以湘江为依托，构筑少量碉堡监视水域，前进据点以各个火力点形成交叉火力网，可以相互支援。这对于以后的战斗起到了很大的作用。
敌第11军团军团长横山勇的作战方案中更是规定：在攻取长沙的同时，即以炮兵、坦克、铁道部队快速向南推进，以急袭和强袭手段，迅猛****衡阳地区；要乘中国军队尚未部署好之前进攻。
根据这一战略意图，中路日军第一线兵团第68、第116师团，在第二线兵团围攻长沙城时，便沿长沙东侧继续南下，其意图好像是为了阻击从衡阳北上增援长沙的中国军队，实际上另有它图。
当日军第58、第34师团等部刚攻下长沙，已经过一定休整和补充的第116、第68两个师团，立即从株洲附近沿湘江两岸向衡阳推进，其行动之神速令人咂舌，如同平地兴起的狂涛向南汹涌卷去。
湘江东岸。敌第68师团在佐久间为人中将指挥下，疯狂南进。向衡阳挺进的六十八师团主力序列：
六十八师团司令部师团长佐久间为人中将
参谋长原田贞三郎大佐
步兵第五十八旅团太田贞昌少将（欠两个大队）
独立步兵第一一六大队田部久次郎中佐
独立步兵第一一七大队永里恒彦少佐
桥本支队支队长桥本孝一大佐
衡阳守备部队国军第10军战斗序列:
军长方先觉中将(黄埔3期)，军参谋长孙鸣玉少将(黄埔3期)
所辖三个师:
第三师，师长周庆祥少将(黄埔4期)
第10预备师，师长葛先才少将(黄埔4期)
第190师(为后调师，实际只有一个团)，师长容有略少将(黄埔1期)
协防的暂54师(只有一个团，后两个营未入城参战，实际只一个师部加一个营)，师长饶少伟少将(黄埔4期)
当时日本军队的一个师团相当于国军的一个军。可见实力相差之悬殊。我军奉命守城，蒋委员长亲自打电话给方军长:要不惜牺牲，坚守衡阳7至10天，我必催外围各军迅速合围，将敌主力聚歼于衡阳城郊地区。10军刚参加常得会战，伤亡惨重，回衡山整补未齐，实际上是有整无补。虽然伤愈官兵陆续归队不在少数，却仍不及编制数之一半，而尤以战斗兵缺额最多。特别是第190师为后调师，所谓后调，即将该师现有之兵员全部分拨给第3师和第10预备师，仅保留班长以上之各级军事干部和业务技术人员，开到指定地域去接受新兵，加以训练，期满归建。拨兵尝未完事，战役就开始了。方军长只好将该师留下，多一人多一份战斗力，故没有让第190师离去，乃一同参加衡阳保卫战。此刻，第190师全师官兵总额才约1200人之谱。
当时最高统帅部当然明白第10军的兵力状况，即命令原桂籍之新19师，归方军长指挥，参加衡阳守城战。但到6月13日，在桂系授意下，又改变注意，将该师调回广西预备守桂林。改派薛岳粤籍之暂54师，配属第10军。然而该师只有一个团及师部在衡阳，担任守卫衡阳机场之警卫勤务。另两个步兵团在其他地区值勤，始终没有来衡阳报导。且在6月26日敌人夜袭机场时，暂54师之守备团只是稍与敌接触，为保存实力，即擅自向南撤走，以至飞机场于一夜之间就被敌占领。该师在城内只有一个光杆师部和一个营的部队。故战前连非战斗兵在内，自军长以下共计一万七千六百余人，实际战斗兵员不足一万四千人。
衡阳，第10军军部，一派紧张的战前气氛。“方军长啊！我们又见面啦！你好啊！”蔡汝霖少将与方先觉中将热烈握手问好。“哎呀！我说谁呢？原来是蔡将军，我们的战区督战官兼炮兵指挥官大驾光临，欢迎！欢迎啊！”方先觉军长大声寒暄道。“军座，你这个长沙守城名将，这次打算如何守衡阳呀？”蔡汝霖关切地问道。“好汉不提当年勇啊！不瞒你说，这衡阳也不同长沙，一来衡阳除一面临江外，三面皆为平地，无险可守；二来这衡阳原是不设防城市，连工事都没有；三是我大军新败星散，暂时难以形成合力；四是本军去年底驰援常德，伤亡重大，尝未来得及很好的休整补充。看来困难不少呀！”方先觉心里矛盾重重，虽然一脸的坚毅但却透着忧郁与无奈。
“攻城要用炮，这守城也得依赖炮兵。我军现有炮兵数量及口径状态如何？”蔡汝霖更关心自己的专业与本职。“我军原有野战炮营一个，三八式野战炮12门，已经留给长沙守军守备长沙啦！军部野炮营张营长率部去昆明接换美国新的七五式山炮12门，还没归建。你是督战官，又是炮兵出身，请多想点办法！”方先觉诚恳地说。“军座放心，我立即向上峰请求另外再配属一些炮兵部队来协助守城！”蔡汝霖尽管如此坚定地表态，但到底有几分把握他自己心中也是没底的。
事有凑巧，刚谈到炮兵，就有相关炮兵情况报告。一参谋近来报告道：“报告督战官，据搜索营探报正有炮兵部队向邵阳方向进发请指示。”“哦，是哪部分的？要他们迅速查明。”蔡汝霖心中大喜道。“是！”
那参谋不久又近来报告道：“报告督战官，经查该部为第74军炮兵营。”“好！知道了。”蔡汝霖转身跟方先觉说：“军座，得赶紧派人前去交涉，请将该部留衡参战。”“张光宽，你速乘汽车前往办理。一定要想法给留驻下来。”方先觉命令道。“是！军座。我立即去办！”然而，由于指挥系统不同，虽几经交涉，但终于还是被拒绝。最后只好电报呈请统帅部，转战区长官部电令，该部炮兵才抽调一个野战炮连，从衡阳市郊演碧桥返衡准备参加城防守备。另外，时第46军新19师原计划与第10军协同守城，后又奉令开往广西全州，准备下一阶段抗战。但其山炮1连留驻衡阳，仍然担任协同守城任务。看来衡阳保卫战就只这么点少得可怜的炮兵部队了。