蒋介石想到加强临汾防务的同时，晋冀鲁豫军区第一副司令员徐向前也想到了把临汾作为夺取运城后的下一个战役目标。若能乘胜组织临汾战役，攻克该城，将会给我军在战略上造成许多有利形势：一可拔掉国民党残留在晋冀鲁豫地区内的最后一颗钉子，全部解放晋南，这样就能和晋绥、西北连成一片；二可为进军晋中、太原扫清障碍，解除后顾之忧，将有力地配合西北战场和黄河以南我陈谢兵团的作战行动。
鉴于上述考虑，徐向前向中央军委建议攻打临汾。
这一建议很快得到了中央军委的批准。
1948年2月，晋冀鲁豫军区奉命组成了以徐向前为司令员的前方指挥所（简称“前指”），并拟定该年春季攻势的第一个战役，便是攻打临汾。
徐向前受命之后，虽然身体欠佳，但心里十分高兴。因为早在抗日战争后期，他在延安养病期间，就一而再，再而三地向党中央写报告，要求出征，与鬼子作战。
1948年初春，大地还没有解冻，徐向前就向晋南前线出发了。他在临出发时对夫人黄杰说：“这次出去，打不下临汾不回来！”
途经阳城时，徐向前在这里召开了太岳区党政军联席会议，研究了攻打临汾的问题，并就这个战役的准备工作进行布置，成立了由徐向前任司令员的晋冀鲁豫军区前线指挥部，统一指挥参战部队。
2月17日，徐向前致电中央军委，提出：“我们第一步作战计划，拟攻歼临汾之敌。”因未解冻，准备在作战开始前普遍进行以“土工作业，连续爆破，破坏外壕，坑道作业，攻击碉堡群、地堡，打开城墙突破口，竖梯登城，巩固突破口向两翼发展，纵深战斗及步、炮、工协同动作等项”为内容的攻坚训练。只有熟练掌握这一套攻坚战术，“才能代价小，收效大”。
18日，毛泽东给徐向前发来了回电，说：“第一、完全赞成先做攻坚战术训练。待解冻后再打临汾，只要攻克临汾就是对彭张的大帮助。第二、但临汾之敌有两种可能，一是固守不动，二是弃城北走。因此你所率准备攻城的各部队的整训位置，应放在便于打逃敌而又很隐蔽的地点，并要预先作出准备打逃敌的计划，以便不失时机地歼灭可能逃跑之敌。第三、李周应令吕梁部队确实受领向前所给协同作战的任务。”
根据毛泽东的这一指示，为不失时机地歼灭可能逃跑的敌人，徐向前考虑了攻打临汾的作战部署，决定：以第8纵队第20旅位于浮山、大阳以西地区；太岳军区部队一个旅位于洪洞、赵城以东地区，控制同蒲路东侧；以吕梁军区指挥的西北野战军独立第3、第7两旅隐蔽在汾西地区，控制同蒲路西侧。主力集结翼城、曲沃地区，如敌逃窜，即以东侧两旅占领要点，阻击敌于赵城以南地区，西侧两旅截击从汾河西岸北逃的敌人，并迟滞南下接援的敌人。为不过早暴露行动企图，在战役发起时，主力部队即以一天半行军北上投入战斗。19日，他把这一考虑向中央军委作了报告，得到了中央军委的同意。毛泽东在复电中说：“部署甚好。”
在报告中，徐向前还说：“临汾敌兵团虽多，但蒋阎军内矛盾甚深，派系复杂，指挥不统一，战斗力一般不强，我攻下运城后，官兵极恐慌，且城大不利防守，只要我们准备周密，攻克不成问题。”这是徐向前对中央军委立下的军令状。
徐向前分析敌我力量后，认为，“是有胜利把握的”。就敌人方面而言，一是，“已丧失了守城信心。敌人内部不团结不统一，临汾城的敌人，有胡宗南部队，有阎锡山部队，还有土顽部队，他们内部矛盾重重，互相摩擦、抵消”。二是，“敌人是孤立的，四周被我们解放区军民紧紧包围着。敌人要想来援，是比较困难的，只有北边是唯一可以来援的方向。如果敌人来援，正是我们欢迎的，我们就打援，在野外消灭他”。三是，“临汾城内的敌人，总计不过二万五千来人，而且也受过我们的打击。临汾的工事，同运城差不多，可是临汾城的四周，比运城大得多，这也是便于我们突破的”。就我方来说，“内部是统一的，士气是旺盛的，我们有全边区三千万人民的支援，我们的兵力比敌强”。徐向前强调指出，上述这些，“只是解决问题的根据，要经过战斗才能解决问题”。（《徐向前军事文选》，解放军出版社1993年版，第143～145页）