1938年2月中旬，日军分别从同蒲（大同——风陵渡）、平汉（今北京——汉口）、道清（道口——今博爱）铁路线向晋西、晋南地区发动进攻。中国第二战区国民党军队节节溃退。至3月上旬，日军先后侵占了临汾、汾阳、离石、风陵渡、黎城、长治等重要城镇，打通了同蒲铁路南段和邯郸至长治公路，进入晋东南和晋西吕梁山地区，并向晋西黄河各渡口进犯。为了牵制日军向晋南和晋西的进攻，八路军第129师、第115师第344旅和第5支队奉八路军总部命令，于3月上旬由正太铁路（今石家庄——太原）转移至晋东南的襄垣、武乡、辽县（今左权县）地区，一面发动和组织群众，创建抗日根据地，一面以主力捕捉战机，打击日军，在邯长公路上连续取得神头岭、响堂铺等战斗的胜利，给侵入晋东南日军的后方补给线造成严重威胁。
4月初，日军华北方面军以第108师为主，并调集第16、第20、第109师各一部，加上骑兵、炮兵、工兵和辎重兵，计十多个联队（其中8个步兵联队，骑兵、炮兵、工兵、辎重各1个至2个联队），共3万余人，在第1军司令官香月清司统一指挥下，由邯（郸）长（治）公路上的涉县、长治，临（汾）屯（留）公路上的屯留，正太路上的平定，同蒲路上的榆次、太谷、洪洞，平汉路上的邢台，以及元氏、赞皇、昔阳、祁县等地，分9路向晋东南地区发起大规模的围攻。
日寇实行所谓“广大广大地开展，压缩压缩地歼灭”的作战原则，妄图以“分进合击”的战术，速战速决，将我八路军围歼于辽县、榆社、武乡地区。这是我八路军挺进敌后以来，日寇对我抗日根据地腹地发动的首次大规模进犯。
日寇一方面进行欺骗宣传，一方面疯狂地对根据地人民实行“三光”政策。他们所到之处，烟火滚滚，尸横遍野。洪水、武乡、蟠龙等镇，在日寇过后，均化为废墟。特别是蟠龙镇，原为辽县、武乡间的大镇，平时商业颇繁盛，此次日军经过，一火焚之。日寇对根据地人民的残酷屠杀更是惨不忍睹。武乡境内的马村，被杀者60多人，妇女多是奸后再杀死，就连七八岁的幼女也不放过。
至4月中旬，持续了近一个星期的9路反围攻作战已进入了白热化。这些日子，朱德、彭德怀和左权日夜守在总部指挥所，密切关注着各路战场的每一个动向。彭德怀和左权还把铺盖卷到了指挥所里……
指挥所悬挂的地图上，作战处参谋已把最新的敌我态势标示得清清楚楚——
从洪洞出动的一路，是日军第20师团77联队，进入安泽、沁源地区后，被第115师344旅、决死1纵队和国民党第17军给堵住了。
从太谷、祁县出动的一路，是日军第28旅团一个联队，附以骑兵、炮兵和辎重兵各一部，拟进犯子洪口，被国民党第98军94、169两个师和当地游击队阻止在东、西团城地区。其中，第169师打得最为激烈，已与敌对抗了3日，歼敌逾千，目前战斗仍在持续中。
从太谷、榆社出动的一路，是日军第109师团两个大队，经长凝向阔郊、马坊进攻，被第129师秦赖支队和榆社游击队钳制住了。
从平定、昔阳出动的一路，是日军第16师团的一个联队，经皋落向辽县进攻，在松烟镇附近被曾国华、汪乃贵两个支队截击，伤亡惨重，进展迟缓。
从元氏、赞皇出动的一路，是日军第16师团一个大队，拟西攻浆水，被第129师游击支队、冀西游击队阻滞在九龙关以东地区。
从涉县出动的一路，是日军第16师团两个大队，拟北攻麻田，被国民党骑兵第4师、第129师补充团阻滞在洪井一带。
以上6路日军的被阻，使他们企图将八路军主力合击在辽县、榆社、武乡地区的计划落空。然而，其他3路的形势却显得严峻一些：
从平定、昔阳出动的另有一路，也是日军第16师团的一个联队，经和顺进攻辽县，由于预置的国民党军没有积极抗击，使他们顺利到达了辽县。
从长治出动的有两路，是日军第108师团的两个联队，其中第105联队为一路，经襄垣北犯辽县；第117联队为另一路，经屯留、亭进攻沁县。同样由于国民党军的消极作战，使这两路日军相继占领了沁县、武乡、辽县，并向榆社进逼。这样，根据地中心地带的形势就显得紧张起来。
这3路也确实是日军的劲旅。尤为后两路，不仅兵精人众，装备十分精良，而且配备了骑兵、炮兵、工兵各1个中队和1个辎重大队。同时，指挥这两路的旅团长苫米地是个不可小视的人物。据说，会攻临汾时，就是他抢先入城的，为此获得了日军大本营颁发的一枚勋章。之后，他更加骄横跋扈，自诩精通八路军的游击战术，并根据八路军的敌退我追的原则，发明了一种所谓的拖刀计。在作战中制造慌乱架势，假装撤退，引诱八路军尾随追击，之后突然伏击或围攻。由于不明底细，这种战法曾让一些游击队吃了亏。苫米地由此更加嚣张。这一次，他又放出风来，非要一口吃掉八路军主力不可！