在115师“分家”后的第二天，聂荣臻又来到不远处的八路军总部，希望总部帮助解决干部奇缺的问题。
八路军副参谋长左权同聂荣臻很熟。1925年他在黄埔军校教导团当排长、连长时，聂荣臻是黄埔军校政治部的秘书兼政治教官。1933年，左权调任红1军团参谋长，聂荣臻已是红1军团政治委员。所以，左权对自己的老上级很是支持。他提议说：“是不是把唐延杰调去当晋察冀军区参谋长，他在总部先当作战处处长，现在是副官长。”
聂荣臻说：“唐延杰我认识，他原是安源的矿工，大革命时还是我分配他去独立团当的兵，以后在红28军当参谋长，这个人可以。”
左权很快把唐延杰叫来，告诉要他担负新的任务。
唐延杰感到有些为难：“我怕胜任不了参谋长的职务吧。”
“怎么胜任不了，你过去当过军参谋长，现在缺人，先干起来再说吧！”聂荣臻信任地说道。参谋长有了，聂荣臻又提出缺政治部主任。于是，他找到了八路军总政治部主任任弼时和副主任邓小平。
任弼时同邓小平商量：“是不是把舒同调去担任此职？他现在是总政治部秘书长，字写得很好，曾被毛主席誉为‘马背书法家’哪，目前正率工作团在五台、定襄一带开展工作。”然后，他又问聂荣臻：“你看怎样？”
聂荣臻满口答应。
干部问题慢慢有了眉目，聂荣臻顿感兵力太少，他的“家底”只有3000人。在这么大的区域创建根据地，这点儿“家底”是远远不够的。他同大家商议：“要创建根据地，必须首先发展武装工作。没有武装，一切都谈不上。现在我们只有用‘滚雪球’的办法来发展。你们看这3000多人‘滚雪球’怎么个滚法？”
舒同说：“9月间，我带工作团在五台、定襄一带做发动群众的工作，王逸群、洪水、罗亦经等同志在繁峙一带发动群众，看到这里的老百姓抗战热情很高，牺盟会做了很多工作，有些地方还有党的基层组织，只要有支主力部队作骨干，就可以开展游击战争。”
聂荣臻点头同意。他想了一会儿说：“赵尔陆同志不是率领八路军总部特务团直属队和部分部队留下了吗？就让他在那里开辟冀晋边界地区的工作好了。杨成武同志的独立团已经在北部地区收复了广灵、灵丘、浑源、蔚县、易县等地，可以作为一坨坨，开辟冀察边界地区的工作。罗荣桓同志告诉我，他在阜平等地活动时，阜平还成立了战地动员委员会，由王平同志任主任，这里已经有了初步基础，同样可以成为一坨坨。我们可以把这三大块先定下来，开展工作。”
他接着讲：“听左权同志说，八路军总部已派周建屏、刘道生同志率领一支小部队，到平山、寿阳一线平汉路和正太路交界地区活动，工作很有起色，将来也可能成为一坨坨。我们‘滚雪球’就先这样滚吧。”
经过反复商议，大家都同意聂荣臻的意见。
1937年11月7日，也就是太原失守的前一天，晋察冀军区在五台县石嘴的普济寺正式宣告成立。
这一天，五台县城大街小巷到处张贴出晋察冀军区成立的布告，普济寺庆祝大会的会场上涌动着花花绿绿的小纸旗。38岁的聂荣臻，风纪扣扣得紧紧的，正在用浓重的四川口音宣读中共中央军委命令：聂荣臻任军区司令员兼政治委员，唐延杰任参谋长，舒同任政治部主任，查国桢任供给部部长
老乡们则以热烈而又新奇的目光注视着这位高高的个儿、既威严又和蔼、被称为“聂司令员”的八路军将领，兴奋地交头接耳。
晋察冀军区成立后，各部加紧收集枪支弹药，动员群众参军，改编杂色武装工作，做得有声有色。
11月13日，经八路军总部批准，晋察冀军区以在北部、西部、南部和东部的部队和工作团为基础，分别组建第1军分区、第2军分区、第3军分区和第4军分区，各军分区主力部队均整编为支队，每个支队（相当于团）辖3个大队，每个大队（相当于营）辖3～4个中队。
第1军分区兼第1支队，辖第1、第2、第3大队，司令员杨成武，政治委员邓华。该军分区以原115师独立团为骨干组建。活动范围包括涞源、广灵、蔚县、易县、繁峙、灵丘等27个县，称为冀西北区。
第2军分区兼第2支队，辖第4、第5、第6大队，司令员兼政治委员赵尔陆。该军分区以八路军总部特务团为骨干组建。活动范围包括五台、代县、崞县、定襄、忻县、盂县等9个县，称为晋东北区。
第3军分区兼第3支队，辖第10、第11、第12大队，司令员陈漫远，政治委员王平。该军分区以115师骑兵营为骨干组建。活动范围包括阜平、唐县、完县、曲阳、新乐、定县、望都等7个县，称为冀西中部地区。
第4军分区兼第4支队，辖第7、第8、第9大队，司令员周建屏，政治委员刘道生。该军分区以115师第685团2营第6连为骨干组建。活动范围包括晋东北、雁北、直西和冀察边等地区。