1937年7月，抗日战争全面爆发后，中国共产党同国民党当局达成协议，将中国工农红军主力部队改编为国民革命军第八路军。
1937年8月25日，中国工农红军第二方面军，西北红军第27、第28军，独立第1、第2师和赤水警卫营及红军总部直属队一部，改编为国民革命军第八路军第120师，贺龙任师长，肖克任副师长，周士第任参谋长，关向应任政训处主任，甘泗淇任副主任。
120师辖第358、第359旅，教导团和骑兵营、工兵营、炮兵营、辎重营、特务营，全师共1.4万余人。
第358旅，卢冬生任旅长（未到职，张宗逊任代旅长、旅长），李井泉任副旅长，辖第715、第716团。
第359旅，陈伯钧任旅长，王震任副旅长，辖第717、第718团。
9月3日，贺龙率师部、第358、第359旅（欠第718团）及教导团等部8200余人，从陕西省富平县出发，经韩城县芝川镇东渡黄河，开赴山西省抗日前线；陈伯钧率第359旅第718团和师特务营、工兵营、炮兵营、辎重营留守陕甘宁边区，归八路军后方留守处建制。
9月下旬，贺龙率师部和第358旅进到晋西北地区；王震率第359旅进到五台、平山地区，发动群众，创建抗日根据地。9月底，第120师以第358旅第716团第2营为基础组成雁北支队，宋时轮任支队长。该支队深入雁门关以北同蒲铁路（大同-风陵渡）以西日军占领区，开展游击战争。以师政训处和教导团700余人组成地方工作团，在关向应的率领下，分赴岚县、岢岚、静乐、兴县、五寨等地，开展地方工作。第359旅亦组成地方工作团分赴平山、井陉地区，发动群众，扩大部队，组织抗日武装。
第120师主力于9月28日在神池、八角堡地区集结后，在以第358旅开展雁门关南北、同蒲铁路北段抗日游击战争，配合正面战场国民党军保卫忻口、太原的同时，10月1日由师政治委员关向应率政治、后勤机关和教导团等，共700余人组成地方工作团，分赴晋西北地区的兴县、保德、河曲、偏关、神池、宁武、静乐、岢岚、临县等14个县。
10月6日，毛泽东电示贺龙、肖克指出：“估计敌人深入后，在后方的兵力，只能守主要的据点，企保持其交通线。”故你们目前的任务是：“开展游击运动，创造抗日根据地。”“主要的是繁殖游击队、义勇军”和“组织若干游击小组”。（《毛泽东军事文集》第2卷，第74页，军事科学出版社、中央文献出版社1993年版）
11月，中共晋西北临时省委成立，马林（后赵林）任书记，统一领导晋西北、大青山两个地区的抗日斗争。接着，中共晋西北临时省委和工作团在牺盟会、战动总会的支持下，积极宣传抗日救国十大纲领，动员和武装群众；组织工人、农民、青年、妇女等各种团体的抗日救国会，建立各级战地动员会；成立了岢岚、静乐、临县、兴（县）岚（县）保（德）等县委或地委；吸收散兵游勇，扩大人民武装，发展主力部队。仅晋西北各县组织的游击队和自卫军，就发展到约1.1万人。
11月8日太原失陷后，在华北国民党军正规战争业已结束、以八路军游击战进入主要地位的形势下，第120师主力遂在晋西北全境展开，准备长期坚持游击战争。其具体部署是：以张宗逊率第358旅一部兵力，进至太原、交城、古交镇地区；以贺炳炎、廖汉生支队活动于吴城镇地区；以王震率第359旅进至崞县至忻口一线；以雁北支队进至怀仁、口泉地区；以王兆相率警6团进至偏关、右玉地区活动，开展独立自主的山地游击战争，进一步发动群众，扩大主力部队，建立抗日民主政权。战动总会在晋西北68县成立了县、区、村各级动委会组织。1938年1月，中共晋西北临时省委正式改为晋西北省委，主要领导人未变。
至此，偏关、右（玉）平（鲁）、大（同）怀（仁）左（云）、朔县等一批抗日民主政权建立，标志着晋西北抗日根据地初步形成。
同时，新建立了5个团：学兵团，团长刘开锡，政治委员曾祥煌；忻（县）崞（县）独立团，团长顿星云，政治委员彭德大；平山独立团，团长陈宗尧；崞县独立团，团长贺庆积，政治委员陈文彬；侯马独立团，主官不详。
1938年1月，第120师进行整编：将上述新部队编入第120师，使两旅3个团扩大为每旅3个团，雁北支队扩大为5个营。以忻崞独立团改编为第358旅第714团，团长顿星云，政治委员彭德大；平山独立团改编为第359旅新的第718团（原第718团改为八路军后方留守处警备第8团），团长陈宗尧，政治委员罗章；崞县独立团改编为第359旅第719团，团长贺庆积，政治委员陈文彬；侯马独立团分别补充各团；神池、五寨地区的游击队改编为师独立第1支队，支队长杨嘉瑞，政治委员戴文彬。至此，全师由东渡黄河、出师抗日时的8227人，发展到25454人，扩大了3倍多。
其中，第358旅为9500人，第359旅为9480人，雁北支队为2960人，独立第1支队为1626人，教导团为707人，学兵团为1181人。全师共有步枪4451支、马枪559支、驳壳枪652支、手枪102支、自动步枪2支、手提式枪426支、重机枪32挺、轻机枪236挺、花机关枪4挺、迫击炮15门、手榴弹14648颗、马刀172把、刺刀444把、骡805匹、马134匹。
6月前后，在一些县游击队的基础上，组建了5个独立支队：第2支队，支队长毛少先，政治委员胡全；第3支队，支队长曾来古，政治委员陈远波；第4支队，支队长康干生；第5支队，支队长孙春荣；第6支队，支队长王宝珊，政治委员胡一新。至此，第120师发展到2.9万余人。