早在2月6日，毛泽东电示华野同意以主力北上歼灭李仙洲集团时，就指示：若执行此方案，对外应装出打南面的架势，使李仙洲集团放手南进，而我秘密北移全军，歼灭该集团，并攻占胶济路。
2月10日，华野下达行军命令，以主力4个纵队分3路兼程北上。左路，第1、第6纵队进莱芜西南方向羊流店地区；中路，以4纵为先头部队直进蒙阴；右路，7纵直进青山石以东蔡庄、上温地区。还部署8纵立即开进新泰东北的张庄地区，9纵立即由胶东开至南麻地区，10纵开至莱芜西面的鲁西镇地区。命令各部队务于2月16日前进至预计地点集结待命。2月18日发起战役。
为了迷惑敌人，掩护主力北上，华野采取了以下措施：一是留两个纵队（第2、第3纵队）由陈士榘指挥伪装华野主力，在临沂以南地区实施正面防御，节节阻击敌人，钳制南线欧震集团。二是令一部地方武装积极进逼兖州，并在运河上架设浮桥，在黄河边筹集渡船，使敌即使发觉我军主力已不在临沂附近，也会错误判断我军准备西进，渡运河、黄河与刘伯承、邓小平率领的晋冀鲁豫野战军会合，从而难以立即判明北上作战的真实意图。
华东主力挥师北上后，第2、第3纵队在临沂外围阻击敌人5昼夜后，于15日撤出临沂城，当日晚，南线敌军占领临沂后，鼓吹“大捷”，宣称“在临沂外围歼共军16个旅”。
对于华野弃守临沂之举，蒋介石、陈诚与第二绥靖区司令官王耀武三人判断各不相同：王耀武却从航空侦察中发现大量解放军部队在向北行动，对进占临沂的“捷报”产生怀疑，判断华野系放弃临沂掉头北上，赶紧在16日命令李集团缩回莱芜、颜庄地区。
但蒋介石、陈诚却相信了他部属制造的“捷报”，又得到共军在运河上架桥，有西渡模样的情报，认为共军“东临大海、西际湖山、局促一隅，流窜非易”。“似将在东阿、范县间渡黄河”，因此严令李集团再度南进，确保新泰、莱芜，并派部队向蒙阴、大汶口侧击“陈匪”。同时又令第11师、第64师等部西开临城，沿津浦路北上消灭“奸匪”。