1946年6月，国内阴云密布，大规模的内战即将爆发。在东北，杜聿明的国民党军精锐部队已经将林彪的东北民主联军压制到松花江北岸；在鄂豫皖，刘峙的军队已将李先念部队团团包围。在平汉、津浦路，乘火车北上的国民党军集结于徐州、郑州，准备向山东、晋冀鲁豫解放区发起攻击。
从1946年1月停战令下达以来的半年内，蒋介石是非常忙碌的。一方面他要重建国统区经济，接收日伪留下的财产，另一方面他要整顿军队，为消灭共产党和解放区作准备。2月，他在南京主持召开“全国整军会议”，要将抗战中扩编拼凑起来的600万国民党军精简压缩，汰弱留强，减少开支，提高部队战斗力。
整编之后，国民党拥有86个整编师（军）、248个旅（师）的正规军约200万人，加上非正规军和海、空军、后勤、院校，总兵力为430万人。国民党军接收了日伪军100万人的武器装备，并从美国得到大批军火和飞机、舰艇。在国民党军整编师中，有1/4的师是美械或半美械装备。
4月国民党军开始实施整编，一部分杂牌部队撤销番号，士兵遣散回家，部分军官编入军官训练团集中管理。保留的部队进行缩编，军改为整编师。如“五大主力”中张灵甫的第74军整编为第74师，胡琏的第18军整编为第11师。但是人员和装备反而比过去增强了。东北和华北的部队暂时没有整编，维持原编制。
就在蒋介石进行整兵之际，晋冀鲁豫军区在刘伯承的率领下也开始了练兵。
早在5月1日，当东北四平保卫战激烈进行时，毛泽东就预感到全面内战可能爆发，遂以中央名义向各解放区下达《关于练兵问题的指示》：“国民党反动派除在东北扩大内战外，现正准备发动全面内战，在此种情况下，我党必须有充分准备，能够于国民党发动内战时坚决彻底粉碎之。”“接此指示后，立即下令全军练兵，上级督促检查，将此看成决定胜负的关键之一。”（《毛泽东军事文集》第三卷）
晋冀鲁豫军区司令员刘伯承接到毛泽东的指示后，便立即贯彻执行，掀起了练兵热潮。