南、北淇村发生大惨案的消息，很快传到了距狼牙山不远的第1军分区的司令部。
杨成武强按住心中的怒火，告诉大家：“各部队要多加小心，日军近期肯定还要在狼牙山地区有所行动。我们要化悲痛为力量，抓住时机，为乡亲们报仇！”
果然不出杨成武所料，塘湖日军的先头部队刚刚占领南、北淇村，主力就紧跟着倾巢而出了。由于有熟悉当地地形和情况的伪军带路，日军开进速度极快。
杨成武立即布置全军分区的反“扫荡”工作，然后，带领机关主力从周庄经上、下隘刹向西转移。在转移途中，杨成武得知：敌人已经拉上一张巨网，把整座狼牙山包围了。
9月24日中午，司令部转移到了离狼牙山两日路程之外的张家庄。一到张家庄，杨成武立即架线向被包围在狼牙山上的1团团长邱蔚了解情况。
邱蔚在电话里焦急地说：“司令员，我们和敌人已展开战斗，从早晨打到现在，敌机轮番轰炸、扫射。山上被围的除了我们1团外，还有易县、定兴、徐水和满城4个游击支队和4个县的党政机关人员，以及狼牙山周围村庄的群众，合计约4万人。现在突围的难度很大，我们正在想办法。”
杨成武吃了一惊，原先他以为易县、定兴、徐水和满城等4个游击支队边打边退，是会撤进狼牙山的，一些地方干部和群众也会在反“扫荡”中进入狼牙山隐蔽，但没想到人数竟多达几万。他想了想对邱蔚说：“现在4个游击支队归你统一指挥，无论如何，要把敌人顶住，绝不能让群众受到损失。你要随时报告情况。我们立即开会研究方案，尽快给你们解围。”
放下电话，杨成武立即找来高鹏、黄寿发、罗元发等军分区领导。几人一商量，首先要尽快摸清敌人此次进攻的情况，然后再根据实际情况寻求解围方案。
时间不长，各情报站纷纷汇报了有关情况：1941年9月24日清晨，3500多名日军带领少数伪军兵分9路，同时进攻狼牙山。他们在日本侵略军山地指挥官高见的率领下，堵住了山口，在所有进出道路上都布置了重兵，有飞机、大炮的掩护。狼牙山的形势越来越危急了。
“敌人来势凶猛！强行突围可能效果不佳。”杨成武对高鹏等人说道，“我们现在最好的方法是引开一部分敌人，留下一道口子，再让邱蔚趁机下山。”
“这样可以。”众人表示赞同。
杨成武想了想，拿起电话，接通了邱蔚：“现在整个情况已经明了。我们决定调集3团和20团的全部兵力，从上、下隘刹和岭西打出去，猛攻管头、娄山、松山和周庄一线的敌人，让敌人误认出我们的主力要同他决战，从而把九莲山和碾子台那一路的敌人吸引过来。这样就会空开数公里长的一个口子，你们要时刻关注这一路的情况，一有机会，尽快下山。”
情况正如杨成武所料，3团和20团的进攻刚刚开始，九莲山和碾子台一带的敌人就立即扑了过去。一个口子张开了。
此时正是深夜，秋风呼啸。
邱蔚匆匆将1团7连留在狼牙山上担负掩护任务，自己则带着各游击支队、机关干部和群众开始转移。他们沿着秘密的盘陀路，悄悄地向口子走去。
杨成武焦急地等待着邱蔚的消息。过了很长时间，他终于接到了邱蔚的电话：“司令部吗？我们全部都跳出了日军的包围圈。至今敌人还没有发现我们。”
“好！”杨成武立即命令3团和20团，“撤退！”
被困在狼牙山的大部队和群众顺利脱险了。
担任后方掩护的第1团第7连第2排完成任务后，已来不及摆脱敌人。其第6班班长马宝玉、副班长葛振林和宋学义、胡福才、胡德林，奉连长之命，为了掩护排主力撤退，毅然把敌人引向了棋盘坨。他们连续打垮了敌人4次冲击，歼敌90余人。经12小时激战，直至把地雷炸完，子弹打光，把最后一颗手榴弹投向敌群，把枪支摔断后，高喊：“打倒日本帝国主义！”“最后的胜利是我们的！”高呼完口号后，一齐跳下深谷。马宝玉、胡福才、胡德林殉国，葛振林、宋学义被山腰树丛托住，由群众抢救脱险。这就是人们广为传颂的“狼牙山五壮士”。
“狼牙山五壮士”的英雄事迹很快传遍了第1军分区，传遍了晋察冀抗日根据地。
聂荣臻在晋察冀军区的一次会议上，高度评价了“狼牙山五壮士”的英雄行为。他说：“在他们身上，体现了中国共产党领导的人民军队的优秀品质，体现了中华民族的英雄气概，我们要继续下去，发扬光大。”
日军华北方面军在晋察冀及其邻区晋西北、太行、太岳、冀鲁豫抗日军民的打击下，被迫于9月24日下令撤退。26日，“扫荡”晋察冀抗日根据地的日伪军，部分撤退到方代口、灵山、定县等地。但其并不甘心“扫荡”的失败，采取边撤退、边合击的办法。
为此，晋察冀军区决定：集中主力在地方部队和人民群众的配合下，大量杀伤日伪军有生力量，迅速逼其撤退。各部队分别在完县山阳庄，盂县赵家岔、七里河，井陉黑水坪、米汤崖，平山、黑山等地袭击、伏击敌人。至10月17日，“扫荡”的日伪军基本撤退。