攻克东关后，战役进入第二阶段——攻占主城战斗。但由于主城外有深沟高碉，不夺取外壕，主城仍“固若金汤”。
鉴于此，“前指”在4月15日作出决定：首先从城东、城南两面攻占外壕，挖好破城坑道，做好爆破准备，占领登城有利阵地，而后再发起总攻。徐总还一再叮嘱部队：“坑道战是当前我攻坚的主要手段。我们的炮火弱，要实行‘土行孙’的战法，钻到地下去。”必须用这种手段夺取和“控制外壕，以保证破城坑道作业”。
19日，“前指”发布命令，以13纵在南门至城东南角地段，8纵在东南角至大东门地段，太岳部队在大东门到东北角地段，夺占外壕和护城据点，选点挖掘破城坑道。
同时，为了控制外壕，使我破城坑道逼近城墙，我亦在外壕壁上挖成与暗堡、掩蔽部相通的暗道，依托部队共挖了15条破城坑道，为保护这些坑道的安全和争夺坑道斗争的主动权，在主坑道两侧和上方，又挖了40多条掩护坑道。暗堡、掩蔽部不断地出击，炸敌暗堡，堵敌暗道。在此期间，我攻城挖掘坑道的斗争是相当艰苦的，除了要和缺氧、地下水、照明及保持方向、水平、距离等困难斗争外，还要同敌人的破坏作斗争。梁培璜自从在东关吃了坑道爆炸的苦头后，便更加狡猾，急忙组织了反坑道部队。还在城墙脚下及外壕外沿，里里外外都设有听音缸、听音哨，侦听地下动静，并挖了“Y”字形和“T”字形的破坏坑道和听音坑道，只要发现我军坑道位置，就马上爆破、放毒，同时以地面的偷袭、出击，破坏我军坑道口；以飞机、炮火和从城墙上往下投手榴弹封锁、阻挠我军坑道作业。致使我军破城坑道被敌炸毁10多次。
但是，由于我作业部队发扬了机智、英勇、顽强的战斗作风，以掩护坑道主动寻找敌人，先机爆破和设计欺骗引诱敌人爆破，又采用无声作业法和转向、绕道等方法避开敌人，最终还是取得了日见功效的成果。
就这样，敌炸我，我炸敌，敌炸我挖，炸了再挖，在这种对挖、对听、对炸的极其复杂、紧张、残酷、激烈的斗争中，我英雄的部队，以坚强的意志，惊人的毅力和无畏的精神，以手指代替锨镢，用两膝代替双脚，用弹药箱代替小平车，经过72昼夜的搏斗，终于在5月15日挖成了三条各长110余米的破城坑道，死亡之神直通临汾城墙底部。
在“万事俱备”之后，“前指”决定5月18日发起总攻，突破口选在大东门南北地段，以8纵（欠第22旅）在大东门以北地段突破，太岳军区44团和41团1个营为2梯队；以13纵37旅在大东门以南地段突破，38旅为2梯队；以22旅、39旅、太岳47团在城西堵歼溃逃之敌（原在河西的吕梁军区部队和太岳军区的3个团5月初奉命北调，河西由22旅接替）；太岳其他部队在城南、城北助攻。
5月16日，“前指”察觉破城坑道有被敌破坏的危险，便决定提前一天发起总攻。随即连夜装填炸药，到17日12时，第23旅在自己挖的两条坑道内，一条装黑色炸药1.24万斤，一条装黄色炸药6000斤。15时，集中炮火开始摧毁突破口两侧敌火力点，19时坑道点火，随着火光一闪，“土行孙”大显神通，只听轰隆两声巨响，坚固的城墙被炸开两个近40米宽的缺口，外壕同时也被填平。
23旅69团突击队首先登城，后续部队相继跟进，该旅一部沿城墙向北发展，迅速占领了东北角，其主力则向纵深发展。24旅一部沿城墙向南发展，很快夺取了东门城楼。
13纵随后也突入城内，直插纵深，分割包围，各个歼灭诸据点之敌。
24时，战斗胜利结束。梁培璜率残部2000余人由西门及其以南企图跳城墙突围，被我22旅和39旅堵歼大部，其余向山区逃窜。