陈赓于8月初返回晋南，即向全军传达了党中央的进军命令。
在此期间，部队对于渡河南征进行了充分的准备。7月27日，遵照中央军委的命令，迅速出动原晋冀鲁豫野战军第4纵队（辖第10旅、第11旅、第12旅、第13旅，以后又增加第22旅），新成立的晋冀鲁豫野战军第9纵队（辖第25旅、第26旅、第27旅和1个炮兵营），光荣起义加入人民解放军的第38军（辖第17师、第55师），共8万余人组成1个兵团，以陈赓为司令员，谢富治为政治委员。中央军委并指示组成兵团前委，以陈赓为书记、谢富治为副书记，执行强渡黄河挺进中原，建立豫陕鄂根据地的战略任务。
八月初旬，由陈赓主持，在太岳解放区的首府阳城召开了兵团前委扩大会议。各个部队的军政负责同志都参加了会议。
陈赓在会上详细传达了中央小河会议的精神，传达了毛泽东、周恩来的指示，非常生动地讲述了“破釜沉舟”的故事，同时表示挺进豫西，逐鹿中原的决心是只能前进、绝不后退，只许胜利、不能失败。他还深刻地分析了解放战争一年来的形势发展，指出这次行动的有利条件，同时要求大家要充分估计到可能遇到的困难，准备克服一切严重的困难。会议经过了认真地讨论以后，制订了强渡黄河、挺进豫西的军事计划，还研究了新解放区的各项政策问题。陈赓在会上强调指出，在新解放区放手发动群众，开展民主改革运动，在斗争地主恶霸的时候要注意团结民主人士，在解放城镇的时候要保护民族工商业，注意团结各界爱国人士，扩大反对国民党反动派的统一战线。
陈赓平素作风潇洒，生活上是乐天派，在战争中却是兢兢业业，十分严谨的人。打起仗来，常常几天几夜不眠不休，脑子里只想着这一件事。他对作战指挥，总是非常细致，经常亲自偕同主攻部队指挥员看地形，找群众询问情况，和干部研究计划，力求每次战斗都有充分的准备和胜利的把握。
对于这次关系全国战局，具有重要战略意义的军事行动，陈赓尤其小心翼翼，态度认真，进行了异常周密细致的战前准备。本来，在召开阳城会议以前，兵团所属各旅、团的指挥员，早已前往准备强渡的黄河沿岸地段作过详细侦察，渡河地段的地形，民情以及对岸的敌情，等等，都已深入了解。
但是，在会议结束以后，他又指派太岳军区第4分区、第11旅和第4纵队联络部负责人等，马上出发前往靠近黄河岸边的蓝田，专门负责了解对岸敌人的情况。行前，陈赓交付他们两项任务：第一，对于沿岸情况再作一次全面的了解；第二，逐日观察对岸敌情有无变化，随时报告。第4分区司令员郭庆祥等带领少数参谋，侦察人员到达蓝田，每天都将所得到的敌情资料，及时地打电话或写书面报告给他，直至渡河前夕，陈赓亲自率领指挥所来到前沿的时候。
渡河前，部队开展了政治整训、战前练兵活动，通过诉苦教育，激发了广大指战员的阶级仇恨；通过军事演练，提高了作战能力。同时还深入具体地进行了新区政策纪律教育。中共晋冀鲁豫中央局为使部队做好充分准备，8月6日还作出了《关于支援陈谢兵团南征的决定》。
在晋冀鲁豫中央局和晋冀鲁豫军区的统一领导下，太行、太岳两解放区党委和政府动员了8000余名翻身农民分别补充了各部队；在半个月的时间内，黄河北岸人民群众为部队渡河赶造了大小船只60余艘，并准备了葫芦、油布包等大量渡河器材，挑选和训练了随军渡河的船工、水手。两解放区党政军机关还抽调干部成立了联合后方指挥部，动员民兵、民工3万多人随军渡河南进，并筹集了一定数量的经费，为这次渡河作战给予了大力的保障。