1938年4月21日，毛泽东、洛甫、刘少奇联名致电朱德、彭德怀、刘伯承、徐向前、邓小平等人，指出：在河北、山东平原地区应坚决采取尽量广泛发展游击战争的方针，尽量发动最广大的群众走上公开的武装斗争。
4月22日，八路军总部命令第129师主力及第115师344旅一部迅速从太行山向冀南、豫北平原及各铁路沿线展开。
接到中央的指示和八路军总部的命令后，刘伯承、徐向前、邓小平立即进行了认真的研究，对在平原地区游击战争的展开和开辟工作做了具体的分工和规划。决定由徐向前率第689、第769两个团和曾国华支队赴冀南，陈赓率第386旅主力进至平汉路西侧的冀豫地区，王新亭率第771团两个营进至平汉路东侧的永年、肥乡、成安一带。此外，陈锡联和谢富治则率刚成立的第385旅主力继续在正太路以南、平汉路以西地区活动，并相机分兵向石家庄以东地区发展。几个月后，冀南的武装力量已发展得十分庞大了。
八路军先后收编和改编了大小数十股土匪、游杂武装和20多个县的保安队。其中较大的如段海洲的青年抗日义勇军，已改编为八路军青年游击纵队；赵辉楼的民众抗日自卫军，已改编为八路军冀豫游击支队。这样，在冀南直接受第129师领导的抗日武装已达2万多人。
随后，在邓小平和徐向前的主持下，冀南地区武装力量的改造和合编也在紧张而又有条不紊地进行着——第771团、东进纵队第2团和抗日游击第2师合编为第129师独立旅。稍后，独立旅又并入青年抗日游击纵队，由段海洲任司令员，李聚奎任政治委员，徐深吉任副司令员。
东进纵队第1、第3团合编为新1团，拨归第386旅建制。
汪乃贵支队和民众抗日自卫军合编为冀豫支队，拨归第385旅建制，由赵辉楼任支队长，赵月舫任政治委员，汪乃贵任副支队长。
津浦支队、各军分区基干队、各县民团和保安团合编为东进纵队第1至8支队及独立团，仍由陈再道任司令员，宋任穷任政治委员。
与此同时，从行政上统一领导冀南全区的冀南行政主任公署亦告成立，以无党派民主人士杨秀峰为主任，宋任穷为副主任，下设5个专员公署，计辖51个县。