1938年2月，日军从太原沿同蒲路两侧大举南下，正面战场呈瓦解之势，阎锡山、卫立煌对在同蒲路东正太路南的国土和各部队实际已无法顾及，遂将分散在这一地区的中央军、地方军和八路军129师、115师344旅，决死队的1、3纵队，划为二战区的东路军，请朱德、彭德怀分任总、副指挥。
3月1日，彭德怀从高平前线赶回驻安泽县南山交镇的八路军总部，带回了国民党友军的情况：徐州吃紧，潼关告急，蒋介石恐华北日军南下，增加中原战场的压力，严令华北各军一兵一卒不许过黄河，全部留在山西打游击。但国民党将领从来没有打过无后方的仗，对运动战、游击战更感神秘莫测，十分惶恐，希望得到八路军的帮助。
一周前，毛泽东、任弼时曾致电朱德、彭德怀，要八路军力劝近百万友军“万万不可过河”；要八路军和友军协同坚持晋南晋西战局，转入外线，反过来攻敌之背。
为鼓励和帮助友军坚持山西，3月24日至28日，朱德、彭德怀在沁县以南的小东岭召开东路军将领会议。国民党将领李家钰（第47军军长）、李默庵（第14军军长）、曾万钟（第3军军长）、朱怀冰（第94师师长）、武士敏（第169师师长）、赵寿山（第17师师长）、八路军将领刘伯承、张浩、徐海东、李达、王新亭和决死队薄一波等38人从各地赶来开会。阎锡山和卫立煌的代表、蒋介石的联络参谋也赶到会所。
国共的第二次合作处在黄金时代，过去在战场交手的人，今日济济一堂，共商御敌之计。24日这天，会议在小东岭村关帝庙内举行。朱德在开幕词中详细分析抗战形势，号召东路军将领齐心协力，建立敌后抗日根据地，开展游击战争，坚持华北。
彭德怀在会上作了关于东路军作战纲领的报告。
在详细分析了敌我双方的形势后，彭德怀要大家接受南京、太原沦陷的惨痛教训，采用新的作战原则：实行战略上的防御战，战术上的进攻战；战略上的持久战与消耗战，战术上的速决战与歼灭战；运用运动战以消灭敌人有生力量，发展游击战以造成我基干军队在运动中大量歼敌的机会。
彭德怀在报告中向友军详细讲解运动战和游击战的战术，部队的政治工作、民众工作、敌军工作和建立根据地的要求等，同时向将领们提出希望。
针对一般国民党将领的封建性统御，彭德怀忠告他们：要了解、巩固、团结部队，须从实行合理统御，自觉纪律，禁止打骂，及与士兵同艰苦做起。要解释、说服、规劝、感动、以身作则去统御部下，而避免威吓、打骂、欺骗和无理由地服从，要使士兵知道为什么要守纪律，自觉地去遵守纪律。
针对国民党将领对八路军官兵同心、军民团结的钦慕，彭德怀说：“士兵与长官要风雨同舟，尤其是长官与士兵间的生活距离应尽量缩小……与士卒同艰苦，是团结部队的重要条件之一。”“对待民众有几件基本的事，就是实行买卖公平，说话和气，借物要还，损物赔偿，离开驻扎地时，实行纪律检查。我们只要做到这几项，就可以获得民众的好感与帮助，军民也就可以慢慢团结一致了。”
彭德怀的报告感动了与会将领们，特别是早年追随孙中山、在西安事变中又积极支持张（学良）、杨（虎城）义举的169师师长武士敏。他积极抗日，但部队旧习气很重，军民关系不好，使他十分苦恼。饭后，彭德怀到各处看望，武士敏向彭德怀倾吐心曲，长谈竟夕。以后，他对人说：“当了几十年的兵，真正懂得为国报效，是在小东岭会议上听到了彭副总司令的教诲后才认识的。从此，我才懂得怎样做一个真正的军人。”此后，武士敏学习八路军的经验，与八路军亲密合作，部队改观，在中条山坚持抗日，直至1941年5月在对日作战中壮烈殉国。
小东岭会议经过热烈讨论，通过了彭德怀所作的作战纲领报告，划定了各军、师活动和建立根据地的地区，协同打通了与后方的交通线。会后应友军的要求，八路军总部由左权主持为友军举办了游击训练班，政治工作讲习班等。朱德、彭德怀、左权都亲自给训练班讲授课程。
小东岭会议是山西战场上抗日民族统一战线规模最大的一次高级军事会议，也是以中国共产党的战略思想为指导的一次会议。这次会议为以后粉碎日军对晋东南的9路围攻奠定了基础。