国民党军见华东野战军停止南进，遂于4月中旬全线发起进攻。第1兵团除以一部守备临沂、郯城、新安镇等地外，主力积极“清剿”临沂、郯城以东和新安镇、海州以北地区，企图阻华东野战军南下华中，并伺机配合第2、第3兵团的进攻。第2、第3兵团主力积极向新泰、蒙阴推进，企图占沂蒙山区，逼迫华东野战军主力退于滨海一隅，然后与其决战。第3兵团以一部兵力守备泰安。
华东野战军为分散国民党军之兵力，求得在运动中各个歼灭其主力及南下开辟华中战场，于4月中旬制订了泰蒙战役计划：以陈士榘参谋长指挥第1、第3、第10纵队围攻国民党军左翼、态势孤立的泰安守军整编第72师，吸引整编第75、第85师由大汶口北援而歼灭之，并诱进犯新泰、蒙阴之国民党军回援，而后集中野战军主力分批寻歼回援的第5军及整编第11师等部于大汶口、太平邑地区；以华东野战军副政治委员谭震林指挥第2、第7纵队集结在青驼寺、双候集以东地区，第7纵队待机南下华中；以第4、第6、第9纵队集结在新泰、蒙阴地区，待机出击；以第8纵队进入临磁公路以南山区，歼灭整编第64师主力。
泰安，地处津浦路徐济段要冲，交通便利，是鲁中重镇、军事要地。守备泰安的整编第72师原为川军之精锐，日械装备，擅长守备，辖第34旅和新编第13、新编第15旅，共2.8万人。其部署：以第34旅主力（欠第3营）守备城区，以一部配置在东、南、北关外各要点及泰山南麓、韩家岭、摩天岭、玉皇顶各要点；新编第13旅（欠第37团）附新编第15旅主力守备城西关基督教堂以北、育英中学以南及清真寺以西娘娘庙、泰安车站、蒿里山、云山庄至铁路以东霍家窑之线各要点；师部在城内。在各要点上，整编第72师均构筑了较坚固的防御工事，凭坚据守。
22日夜，第10纵队以及加强该纵的3个榴弹炮连按时发起进攻，相继攻占泰安四周据点，包围该城，第1、第3纵队开至泰安以南津浦路两侧地区，准备打援。但至24日，大汶口等地之国民党军整编第75、第85师虽近在咫尺，亦不敢出援泰安。
华东野战军遂决定增调第3纵队第8师和第9师一部于24日夜配合第10纵队，加速攻占泰安，歼灭守军整编第72师。以第10纵队从泰安北、东和东南方向攻击；以第3纵队部队从泰安西南、西北方向攻击。经彻夜激战，控制泰安四关大部。
当时担任第3纵队第8师政治委员的王六生后来记述该师参战和攻占蒿里山要点的情况：国民党军这次进攻“采取的是密集平推的部署，西起津浦线，东至临沂，在飞机、坦克配合下，叫嚷着要撵我们‘跳黄河’，日夜向北压来。那阵势，那凶焰，真像要把泰山推倒，把沂蒙山踏平似的。我们一路往北走，干部、战士就嘀咕起来：‘怎么搞的，真的要过黄河呀？！’‘过了泰山，往北到济南府，就是黄河了！’直到泰山脚下停住步，有的人才眉开眼笑地说：‘要从泰安开刀了。’”。他还说：该师在鲁南战役后，多是打阻击，演“配角”，这次担负主攻任务，指战员们的战斗情绪特别高涨，投入战斗后，便打了一个硬仗，攻占了蒿里山。（王六生：《泰安脚下》，《星火燎原》选编之8，第441、第443页）
蒿里山，离泰安城7里，俯视泰安全城，扼守津浦铁路。国民党军第72师派有重兵固守这一制高点。第8师一部于24日晚投入战斗后，即向蒿里山发起强攻，经半夜激战，多次冲击，虽付出较大伤亡，但仍未能拿下主要山头。该部改变战术，再次发起冲击，采取小群动作、互相掩护、交替前进的战术，打掉敌人的子母堡，仅用30分钟，就攻占蒿里山，接着又占领火车站，为大部队攻城扫除一大障碍。
25日黄昏，对泰安城发起总攻。第10纵队第28师首先从东门突进城内，接着第29师和第3纵队部队也相继从南门和西门突进，经过多次猛烈冲锋，激战至26日10时，歼灭国民党军整编第72师师部和新编第13旅、第34旅共2万余人，俘其中将师长杨文泉、新编第13旅少将旅长杨本固、少将副旅长宋竹青、少将参谋长韩明、第34旅少将旅长李则尧、少将参谋长刘新甫等官兵15000余人。
整编第72师系原川军精锐，师长杨文泉24日还向顾祝同拍胸保证，要坚决守住泰安。他怎么也没有料到，不到两天，就把泰安丢了，自己也当了俘虏。
国民党政府对泰安战局异常关注，山东省政府主席兼第2绥靖区司令王耀武经常向行政院院长张群电告战况。直到4月30日，他才报告：“4月22日敌进犯泰安附近。”行政院负责官员看到后哭笑不得，乃批示道：“据报载及国防部白部长在立法院5月1日报告，泰安业己陷敌手，但该省4月30日来电所报尚系敌开始进犯泰安之情形，且该电5月2日始到院，是以此项情报，不免失去其军事机要价值矣！”（国民党《山东省政府反共军事战况及情报》）
泰安是在坚决阻击国民党军的强大援军的情况下攻取的。对此，华东野战军在《泰蒙战役概述》中作了详细记载：自4月20日起至27日止，在云蒙山麓东起界牌、西至观山100里的战线上，我军展开了英勇的阻击战，第8、第9纵队经7昼夜的血战，阻击了10余万敌军的陆空猛烈进攻，其中尤以云台山、天台山、黑山、白马关、紫锦关等地得而复失、失而复得，战况更为激烈，给进犯之敌以4000人以上的杀伤，保证了攻打泰安的胜利。
攻克泰安、歼敌整编第72师主力并阻击10万大军的增援，是华东野战军迎击国民党军对山东重点进攻中取得的首次胜利，中央军委5月6日在给陈、粟的电报中，对此役评价很高，称之为“泰安大胜”。