山东日军第12军将1941年度“肃正”地区的重点确定为津浦路以东、胶济路以南山区的抗日根据地。9月中旬至10月上旬，日军首先对沂蒙山区周围的泰山区和邦城、码头地区进行“扫荡”，并积极策划于11月初开始对鲁中沂蒙山区抗日根据地进行大规模的“扫荡”，企图一举消灭山东地区的中共党政军领导机关和八路军主力，摧毁沂蒙山区抗日根据地。其参战兵力，除第12军主力（第17、第21、第32师团和独立混成第5、第6、第7、第10旅团）外，还有日华北方面军配属的第36师团、独立混成第3、第4、第9旅团各一部，总兵力5万余人。这是抗日战争时期，日军对山东敌后抗日根据地发动的规模最大的一次“扫荡”。
10月底，日军向沂蒙山周围地区集结。其部署是：以第32师团和独立混成第10旅团主力集结于新泰、蒙阴、平邑、费县地区；以第21师团、独立混成第5、第6旅团主力集结于沂水、莒县地区；以第17师团主力、第36师团一部集结于临沂地区，对沂蒙山区构成合围态势。
为了巩固山东抗日根据地，加强山东地区的军政领寻和统一作战指挥，中共中央和中央军委于9月13日指示，山东纵队、第115师军政委员会合组为山东军政委员会，罗荣桓任书记，山东纵队归第115师首长指挥。
10月7日，山东军政委员会根据日军对鲁中“扫荡”的动向发出紧急指示，指出敌有集中更优势兵力，以沂蒙区为中心，对山东进行长期“扫荡”的可能，要求全区党政军民紧急动员起来，开展全面的群众性的游击战争，采取内外线相结合的方针进行反“扫荡”作战。13日，第115师也发出反“扫荡”作战准备的指示，要求军区、军分区立即划定地方武装及游击小组的作战地域；所有党政军机关有计划地分散，加强对反“扫荡”斗争的领导，主力部队灵活地袭击敌之翼侧和后方交通线与据点。
11月2日，山东军政委员会针对日军的合围企图决定：中共山东分局和第115师直属队适时转移至鲁南地区；山东纵队直属队转向泰山区；山东纵队第1旅主力转向敌合围圈外围，待机作战；抗大第1分校转向泰安、泗水、宁阳地区，鲁中军区及备军分区和县区武装就地领导民兵坚持斗争；活动于鲁中区附近的教导第1旅和山东纵队第2、第3、第4、第5旅等部，分别在滨海南部和北部、胶济路沿线及新泰以东和烟台一带，积极开展攻势，配合沂蒙山区反“扫荡”作战。
11月2日，日军开始向沂蒙山区压缩和封锁，北面日军400余人于4日拂晓偷袭驻马牧他的山东纵队指挥机关。山东纵队指挥机关遂分散向东转移，至沂水西北的南墙峪，复遭日军合围，经激战后，转移至新泰西南之石莱一带，跳出日军的合围圈。
5日拂晓，日军第12军主力由四面一起开始进攻。其中，日军以2万余人的兵力，在飞机、坦克配合下，分11路向中共山东分局、第115师师部等领导机关所在地区进行大合围，并以重兵由北向南进攻。同时，根据以往“扫荡”时八路军多向滨海地区转移的规律，在沂河沿岸河阳、葛沟一带预伏重兵，布成口袋，企图待八路军向东转移时予以围歼；在西面津浦路上，构筑碉堡，加强戒备，防止八路军西撤。面对日军的“铁筒包围阵”，第115师首长决定向西南方向突围，转移至日军兵力较为薄弱的费县东北地区。
5日黄昏，中共山东分局和八路军第115师等领导机关5000余人，在仅有1个营兵力的掩护下开始突围。6日拂晓，顺利地从留田西南铁山子附近东西不过1.5公里的间隙中，迅速隐蔽地通过第一道封锁线；接着，又在一个25公里的间隙中，隐蔽地通过了第二道封锁线，安全到达蒙山南端的护山庄地区，跳出了日军的合围圈。
日军合围扑空，即以一部兵力在根据地内建立临时据点，对根据地基本区实行严密的分割和封锁，其主力则继续寻找八路军主力作战。8、9两日，日军一部合击芦山，鲁中军区司令部遭到袭击，军区司令员刘海涛牺牲。
12日，进入鲁中沂蒙山抗日根据地的日军转入分区“清剿”，将沂蒙山抗日根据地分为4个“清剿”区：一是以南墙峪为中心的北蒙山区，一是以孙祖为中心的南蒙山区，以上两区为“清剿”的重点；其次是以铜井、界湖为中心的东蒙山区和以朱满为中心的西蒙山区。日军每“清剿”一地，即挨户搜查根据地的党政干部和失散人员及伤病员，对根据地基本区实行“三光”政策。许多村庄被洗劫一空，大批村庄被烧成一片废墟。日军还赶修临时公路网，严密分割封锁根据地，以限制八路军主力机动，为长期控制沂蒙山区作准备。
为粉碎日军的“清剿”，保卫根据地，第115师除令教导第2旅、山东纵队第2旅主力在外线滨海区积极破袭日军公路、据点外，中共山东分局和第115师师部又率山东纵队第2旅、蒙山支队、抗大第1分校各一部返回沂蒙基本区，配合当地游击队和民兵，打击日军的“清剿”、“搜剿”分队，镇压汉奸，支援广大群众在内线坚持斗争。
14日，日军集中7000亲人兵力，反复合击蒙山西部地区。为判明日军“扫荡”动向，中共山东分局和第115师领导机关进至东西蒙山之间的大谷台。17日午后，日军从空中侦察发现后，即对大谷台进行合击，中共山东分局和第115师领寻机关遂东越临（沂）蒙（阴）公路，进入沂蒙山基本区的北材，指挥内线部队在垛庄、绿云山等地，以伏击、袭击，阻击等战术打击分散“清剿”之敌。同时，抽调大批干部分赴各地，领导群众开展抗日游击战争。
30日，中共山东分局和第115师领导机关转移至大谷台以南大青山时遭日军合击，受到很大损失，山东省战时工作委员会秘书长陈明、第115师敌工部副部长王立人、国际友人德国记者希伯、山东纵队直属第3团政治委员刘涛等牺牲。
12月4日，第115师直属队及蒙山支队又在瓦城子一带再次遭到合击。为了保障安全和不问断地指挥作战，中共山东分局和第115师领导机关遂再次转向外线，进入天宝山区，内线作战部队由迟回坦埠地区的山东纵队统一指挥。12月11日，山东纵队领导机关在蒙阴以东的高湖地区遭日军合击，山东纵队宣传部长刘子超等牺牲。
12月上旬，日军第12军除留少数部队建立据点，扶植伪军，巩固其占领区外，以部分兵力分别对天宝山和滨海区进行“扫荡”，掩护其主力撤退。根据地军民以广泛的群众性游击战不断袭击残留在根据地内的日伪军。23日，日军主力分路撤退，八路军乘机反击，收复村镇。至28日，基本恢复沂蒙山区抗日根据地，反“扫荡”作战结束。
在将近2个月的反“扫荡”中，八路军共作战150余次，歼敌2000余人，打破了日军的“铁壁合围”，保存了有生力量，坚持了沂蒙山区的抗日斗争。但根据地军民也付出了重大代价。八路军伤亡1400余人，群众被杀害或被抓走1.4万余人，损失粮食160余万斤，基本区四分之一以上的房屋被烧毁经过此次“扫荡”，日军将台（儿庄）潍（坊）、临（沂）蒙（阴）、沂（水）临（沂）等公路打通，在沂蒙区增加了近70个据点，从而构成对八路军根据地的严密分割封锁。