小河会议上，毛泽东提出我们不能等到敌人的进攻被粉碎，人民解放军数量上、装备上都超过敌人后再展开战略反攻。我们必须立即转入进攻，主力打到外线去，把战争引向国民党统治区。并作出了“三军配合，两翼牵制”的战略部署。根据部署，西北野战军攻打榆林，诱敌北上，把胡宗南拖得筋疲力尽，然后再寻机歼灭其一部，以保证陈（赓）谢（富治）集团顺利渡河，挺进豫西。
遵照小河会议制定的战略部署，彭德怀指挥西北野战军8个旅和绥德分区的勤务第4、第6团，于8月6日开始攻打榆林。
榆林旧称榆阳，又叫驼城，靠近无定河、榆河。这里地势平展，土地肥沃，物产丰富。由于它北依长城，南抵乌延，西北与宁夏毗邻，地处晋陕绥宁要冲，为历代兵家必争之地。
驻守榆林的是邓宝珊指挥的第22军。毛泽东为西北野战军规定的方针是：攻得下就攻，攻不下就撤，然后寻机歼敌。
彭德怀指挥部队，两天时间，就扫清了榆林守敌设在神木高家堡至横山响水堡200余里防线上的大部外围据点，大军直逼榆林城下。
蒋介石得知西北野战军围攻榆林的消息后，十分吃惊。他感到若榆林不保，则宁夏孤立，胡宗南一旦失去北面的作战配合，必将影响整个西北战局。因此，榆林之得失对整个西北战局关系甚大，不可掉以轻心。他急忙于8月7日上午带着国防部作战司司长和空军副总司令王叔铭等人，急匆匆地从南京经西安飞抵延安。
当天下午5时，蒋介石在延安亲自主持召开了旅以上军官参加的作战会议，研究增援榆林的问题。胡宗南、裴昌会、薛敏泉、董钊、刘戡以及王叔铭等人参加了这次作战会议。会议提出了固守榆林的作战方案，其要点是：“第一、榆林守军必须坚强固守，以待援军之到达；第二、整36师即驰援榆林；第三、驰援时，应以迂为直，避开绥德、横山正面匪之阻援，改循保安、靖边，出长城，沿伊盟南端边缘挺进，出敌不意，一举进出榆林；第四、进抵榆林周边后，应与守城友军切取联系，合力内外夹击而捕歼之；第五、整36师前进时之补给，由空军逐日投送粮弹支援。”并限令整编第36师于11日进抵榆林。
作战会议开完后，8月7日晚，蒋介石又召集胡宗南再次研讨榆林战况。胡宗南说：“现在共军围攻榆林，想诱我们去解榆林之围，在米脂以北地区设伏歼灭我军。这次，我们再不上他们的当了。”
听了胡宗南的话后，蒋介石当即指示说：今后在陕北作战，不必再稳扎稳打，而要用急进猛打的战法，补救过去的缺陷。此次解榆林之围，主力可以缓缓地沿咸榆公路北上；而另以钟松的整编第36师从安塞西南的永宁寨出发，从左翼疾进，经靖边，出横山，沿长城北边东进，侧击榆林附近的共军。榆林解围之后，乘共军撤退之时，立即出榆林南下，与北上的主力相配合，南北夹击，在榆林、米脂间与共军决战，歼灭共军或将共军赶到黄河以东。胡宗南提出，其部主力全部北上决战，后方交通线会缺乏掩护部队。同时，时值雨季，部队的补给也会成为大问题。蒋介石说，可以空军空投和沿途抢粮来解决补给问题。接着，他们商议并拟写了给邓宝珊、第22军军长左世允、第28旅旅长徐保的信，第二天空投到了榆林。
蒋介石对这次作战行动看得很重，他在接见整编第27师军官时说：“陕北为主要战场，为匪之首脑所在，如不肃清，后患无穷。本令7月底肃清，现延长一个月，8月底定须肃清。”（台湾：《民国胡上将宗南年谱》）一切布置好之后，蒋介石就飞回南京去了。这是蒋介石一生中第一次，也是最后一次视察延安，全部时间加起来，仅为一昼夜。