由于美国政府的阻挠和破坏，停战协定规定的政治会议未能召开，日内瓦会议在和平解决朝鲜问题上未达成任何协议。
为了推动朝鲜问题的和平解决和进一步缓和远东的紧张局势，中国人民志愿军在1954年9月到1955年10月的一年多时间内，先后分三批公开主动从朝鲜撤出十九个师的部队：1954年9月16日至10月3日撤出第47、第67军及第33师共七个师；1955年3月31日至4月20日撤出第50、第68军共六个师；1955年10月10日至10月26日撤出第24、第46军共六个师。这一主动行动，受到朝中人民的一致拥护和国际舆论的普遍赞扬。
另外，自朝鲜停战至1955年底，中国人民志愿军还先后从朝鲜秘密撤出了第60、第63、第64、第65、第12、第15军等六个军，炮兵第2、第3、第7、第21、第22师，高炮第61、第63、第64、第65师，公安第1师，铁道兵第1、第2、第3、第4、第5、第6、第7、第9、第10、第11师以及其他特种兵部队。第3兵团领导机关和第9兵团领导机关分别于1955年1月、4月初撤出朝鲜。1955年底以后，仍在朝鲜的志愿军仅有第1、第16、第21、第23、第54共五个军，另有炮兵、高射炮兵、装甲兵、工程兵、后勤等部队。
1957年中共中央鉴于国际国内和朝鲜的形势，准备从朝鲜撤出中国人民志愿军。1957年11月，毛泽东率领中国代表团在访问苏联期间和金日成谈到从朝鲜撤出中国人民志愿军的问题。毛泽东说：“鉴于朝鲜的局势已经稳定，中国人民志愿军的使命已经基本完成，可以全部撤出朝鲜了。朝鲜人民可以依据自己的力量来解决民族内部事务。”金日成完全同意毛泽东的意见。
金日成从苏联访问回国后，于1957年12月16日和25日，给毛泽东写信，先后对志愿军撤出朝鲜问题提出了两个方案。一是由朝鲜政府发表声明，提出从朝鲜撤出一切外国军队的主张，中国政府积极响应；一是由朝鲜最高人民会议写信给联合国，要苏联在联合国提出主张，以推动联合国采取行动。
中共中央对此十分重视。12月30日，中共中央政治局常委和书记处对此事专门进行了研究，在讨论的基础上由张闻天拟订了关于《从朝鲜撤出中国人民志愿军的方案》。方案提出，中国政府发表声明，支持朝鲜政府关于“联合国军”和中国人民志愿军撤出朝鲜的主张，并正式表示准备就志愿军分批撤出朝鲜问题同朝鲜政府协商，要求“联合国军”方面有关各国政府也采取同样步骤。撤军办法是，志愿军在1958年底以前分三批全部撤完。当天，周恩来审阅了方案稿，并批送刘少奇、朱德、邓小平、彭德怀并转送毛泽东核阅。31日，毛泽东在方案上批示：“同意。”随后，中国政府将从朝鲜撤出志愿军的方案，通报给苏联政府并征求他们的意见。
在得到苏联政府的意见后，1958年1月24日，毛泽东将中国方面关于中国人民志愿军撤出朝鲜的考虑电告金日成。电报指出：
我们觉得，由朝鲜民主主义人民共和国主动提出外国军队撤出朝鲜的要求，然后由中国政府响应朝鲜政府的要求，是比较适宜的。……对于这个方案，我们提出一些具体意见。这些意见，我们已经同苏联政府商量过，他们表示完全同意。
1958年1月13日，中央军委举行例会，专门研究了中国人民志愿军撤军问题。根据中央军委的决定，总参作战部和志愿军总部对志愿军撤军工作进行了部署和安排。2月上旬，总参作战部研究上报了志愿军领导机关和部队回国后的具体部署方案。
1月28日，志愿军司令员杨勇在给国防部长彭德怀的信中指出，鉴于从朝鲜撤走志愿军的形势已定，行动时间近迫，在不放松战备而又节约经费开支的精神下，志愿军已初步采取了以下措施：停建营房、仓库和医院；压缩一线永备工事的构筑，但纵深永备工事则加速进行；结合动员家属还乡生产，决定今年上半年军官家属一律不准入朝；军需物资凡今年用不着的，不再运往朝鲜；交接防务的一切有关资料正在进行准备。信中对部队撤出的时间、方法及各军回国后的驻防位置，兵团、志愿军领导机关的处理等问题，提出了意见和建议。同时志愿军还制定了撤军计划。
1958年2月5日，朝鲜民主主义人民共和国政府就撤退一切外国军队与和平统一朝鲜问题发表声明。声明建议，为了缓和朝鲜的紧张局势以及和平解决朝鲜问题，美军和包括中国人民志愿军在内的一切外国军队应当同时撤出南北朝鲜。为此，在朝鲜派有军队的国家应当迅速采取相应措施，把本国的军队立刻撤出朝鲜，声明还建议，在一切外国军队全部撤出南北朝鲜以后，应当在一定时期内在中立国机构的监督下实行全朝鲜的自由选举；应当在对等的基础上早日实现南北朝鲜之间的协商，讨论经济、文化交流和全朝鲜的选举问题；应当在今后尽量短的时期内把南北朝鲜军队的人数缩减到最低限度，以实现朝鲜的和平统一。
2月7日，中国政府发表声明，表示完全赞同并且全力支持朝鲜政府的和平倡议。认为一切外国军队，应该定期撤出朝鲜。为促进朝鲜问题的和平解决，缓和远东的紧张局势，中国政府准备就中国人民志愿军从朝鲜撤出的问题同朝鲜政府进行磋商。声明要求美国政府和参加联合国军的其他各国政府同样采取措施，从南朝鲜撤出美国军队和其他一切外国军队。这再一次表明了中国政府和中国人民谋求和平解决朝鲜问题的真诚愿望。
2月14日，应朝鲜政府的邀请，中国政府代表团在周恩来的率领下到达平壤，开始对朝鲜进行友好访问。代表团成员还有副总理兼外交部长陈毅、外交部副部长张闻天、中国人民解放军总参谋长粟裕，以及总理办公室副主任张彦、外交部亚洲司司长章文晋和中国驻朝鲜大使乔晓光等。在访问朝鲜期间，中国政府代表团同朝鲜政府代表团进行了亲切、友好的会谈，就中国人民志愿军撤出朝鲜的问题达成了完全一致的意见。
2月16日晚，中国政府代表团到达中国人民志愿军总部所在地桧仓。周恩来在志愿军团以上干部大会上作重要讲话。他号召广大指战员发扬高度的国际主义精神，虚心学习勤劳的朝鲜人民和英勇的朝鲜人民军的优点。要求在撤军过程中，对朝鲜政府、朝鲜人民军、朝鲜人民应该交待好，各种事情都交待得一清二楚，除随身携带的武器外，凡是可以留的都应该留下，使中朝两国人民用鲜血凝成的友谊之花，在最后一年开得更好，结出丰硕之果。志愿军不仅在朝鲜是最可爱的人，回国后也要做最可爱的人。
2月19日，中华人民共和国政府和朝鲜民主主义人民共和国政府发表《联合声明》。声明郑重向全世界宣布，中国人民志愿军完全同意中国政府的建议，并且决定在1958年年底以前分批全部撤出朝鲜，第一批将在1958年4月30日以前撤完。朝鲜民主主义人民共和国政府对于中国人民志愿军的这一决定表示同意，并且愿意对中国人民志愿军的全部撤出给予协助。
中国人民志愿军全部撤出朝鲜的决定，不仅获得了中朝两国人民的热烈拥护，而且受到国际舆论的重视和欢迎。
2月20日，苏联政府发表声明，完全支持朝中两国政府关于中国人民志愿军全部撤出朝鲜的建议。认为这一倡议具有极其重大的意义，是旨在缓和国际紧张局势、加强国际信任和巩固和平的极其重要的措施之一。
其他各社会主义国家的报纸全文刊载了中朝两国政府联合声明并做了高度评价，一致认为中国人民志愿军决定全部撤出朝鲜的主动措施，是对和平解决朝鲜问题，缓和远东紧张局势做出的重大贡献。同时，敦促美国军队也从南朝鲜全部撤走。就连美国在侵朝战争中的主要盟国的舆论，也不得不承认中国人民志愿军决定从朝鲜撤出的主动措施，对缓和远东局势的积极意义。美国的公正舆论也认为，中国采取从朝鲜撤出中国人民志愿军的行动是“大胆地掌握了主动”，“并且使美国陷于难堪的境地”。
为圆满完成撤军任务，志愿军党委根据中央军委和周恩来总理的指示，对撤军工作做了具体部署，向全军发出了“不骄不懈，善始善终；军队撤出，友谊长存”的号召。要求部队“交好、走好、到好”。交好，就是除了武器装备和个人随身携带的物品以外，其余东西一律移交给朝鲜人民军；走好，就是要圆满安全地撤出；到好，就是回到祖国后不居功、不骄傲，服从祖国需要。
2月13日，中国人民志愿军司令员杨勇、政治委员王平颁发训令，制定了十二条规定，要求全军在撤军过程中严格遵守。2月21日，中国人民志愿军政治部发出了《关于志愿军撤出朝鲜的政治工作的指示》。第一批部队撤出朝鲜后，6月，志愿军政治部又专门制定了《撤军工作三十条》。强调必须做到交好、走好、到好的思想，要求部队善始善终，军队撤出，友谊长存。
在撤军过程中，首先是交好。2月24日，中国人民志愿军与朝鲜人民军经过充分协商，确定了交接的部署和交接的组织。25日，志愿军司令员杨勇上将和人民军总参谋长李权武上将，在双方防务交接的联合命令上签字。
根据志愿军总部的指示，各部队都把前沿的坑道、战壕、掩体和其他各种工事、道路，进行了彻底的修整、清扫和加固，并组织力量将一切未完成的工事全部突击完成。战士们说：“多挖一尺坑道，多加固一个工事，就是给中朝人民的对敌斗争多增添一份力量。这是给朝鲜人民军战友留下的最好礼物。”各级指挥员和指挥机关，对防御地区的地形、作战方案，重新认真地进行了研究，修正了战斗文书和各种图表，然后仔细地向朝鲜人民军接防部队办理移交，把敌情、地形、工事和作战方案交待得一清二楚。
2月27日，中国人民志愿军发布命令，决定将志愿军情报、通信、军训、工程器材，以及营房、营具、仓库和各种弹药等移交给朝鲜人民军。并要求各部队切实遵照执行，凡按规定移交的弹药物资器材，均应查点清楚，完整无损地移交，如有破坏行为以纪律论处。
10月17日，中国人民志愿军司令员杨勇上将和朝鲜民族保卫相金光侠大将在志愿军总部和朝鲜民族保卫省联合公报上签字。联合公报指出：
为了响应中朝两国政府关于一切外国军队从南北朝鲜撤出和促进朝鲜问题和平解决的建议，中国人民志愿军总部在1958年2月20日已经发表声明，决定于1958年年底以前，分批地全部撤出朝鲜。在即将从朝鲜全部撤出的时候，中国人民志愿军总部决定将自己的营房、营具、营房设备、物资、器材，全部无偿地移交给朝鲜人民军。交接工作已经在1958年10月16日顺利完成。双方对此表示满意，并且认为这一事实，是中朝两国人民之间的战斗友谊的又一次表现。
中国人民志愿军各部队按照计划分三批撤离朝鲜，返回祖国。对于部队的撤出顺序，中央军委确定“先前沿，再西海岸，后中间”的方针。首先撤出第一线部队能迅速扩大志愿军的撤军影响，同时可以观察敌人的动态，最后撤出中间的部队以便应付意外情况。
第一批撤出的部队为陆军第23军、第16军六个师及部分炮兵、坦克、工程兵、汽车部队，工程兵指挥所和第19兵团领导机关，共80000人，于3月15日开始至4月25日撤出朝鲜。另第20兵团领导机关先于3月12日撤出朝鲜。
第二批撤出的部队为陆军第54军、第21军六个师及部分坦克、炮兵、高炮、后勤、工程兵部队和坦克指挥所，共10万人，于7月11日开始至8月14日撤出朝鲜。
第三批撤出的部队为志愿军总部、陆军第1军三个师、炮兵指挥所及志愿军后勤部、后勤保障部队，共70000人，于9月25日开始至10月26日撤出朝鲜回国。