战争的头几天过后，杜鲁门总统就知道他必须面对一个不甚愉快的事情：罢免国防部长路易斯·约翰逊。这个任务很艰难，因为杜鲁门从第一次世界大战之后的年代起就跟约翰逊相识，当时两人都在退伍军人事务上颇为积极。约翰逊接着成为一名成功的律师，在家乡西弗吉尼亚和华盛顿两地都有事务所，他还是美国全国退伍军人总会会长。第二次世界大战期间，他在陆军部任文职高官，当时任参议员的杜鲁门发现约翰逊对工业动员的事务很有帮助。杜鲁门对约翰逊印象良好，他请约翰逊出掌他1948年竞选活动的财务工作。当时几乎没有人愿意为一个明显无望获胜的竞选活动捐助，约翰逊在极端困难的条件下表现很出色。
1949年，新设立的国防部第一任部长詹姆斯·福雷斯特的精神状态开始恶化，最后以自杀告终。杜鲁门希望对约翰逊在竞选中的效力给予褒奖，就选择他出任国防部长。此项任命使一些观察家感到忧虑，如《纽约时报》的军事记者汉森·鲍德温。他说：“我相信，我们之中了解他的人……大多数都会认为这将是一个灾难。他是一个彻头彻尾的政客，他将会牺牲任何防务……或者作战效能来达到政治利益的目的。”在鲍德温看来，约翰逊“完全就是杜鲁门的工具”。
约翰逊一开始还让杜鲁门满意。他大刀阔斧地削减军事预算。他取消一艘海军将领们心仪已久的航空母舰的订单，从而平息了一场吵吵闹闹的海空两军之间的纷争。他并不惧怕高阶军官们。然后，杜鲁门开始注意到，他的这位老朋友出毛病了。
发生了一些情况。我的看法是，“华盛顿权欲病”和一种病状是造成最后惨败的罪魁祸首。
路易斯开始流露出一种过分以自我为中心的欲望，想要操控整个政府。他冒犯了每一位内阁成员。我们的每一次内阁会议上，他都要明显表露出他对财政部、商务部、劳工部、农业部的问题，比那些部长们懂得更多。他瞧不上任何人，包括所有这些部长。他从不放过任何机会说我私人助手班子的坏话。
接着，让杜鲁门大为恼火的是，约翰逊“企图利用白宫记者们来吹捧自己、打压别人，尤其是针对国务卿”。约翰逊在跟参院里杜鲁门的死敌（他们是肯尼思·惠里、约瑟夫·麦卡锡、欧文·布鲁斯特、罗伯特·塔夫脱、博克·希根鲁珀等人）谈话时，还对政府进行恶意攻击，杜鲁门称他的言论“危害极大”。
在朝鲜战争刚开始的日子里，约翰逊对艾奇逊进行恶意中伤，这尤其令人气愤。那些受到约翰逊指点的新闻报道宣称，美国在战争开头时行动迟缓，原因就是艾奇逊的低效无能，并说他有可能被罢免。白宫副新闻秘书埃本·艾尔斯经常被总统用来作为谈话的传声筒，他援引杜鲁门在私下大发雷霆时说的话：“事实是，他们没有办法让国防部行动起来。”总统还说，如果再这样下去，“我们将要有一位新国防部长了”。
然而，约翰逊不断地在碍手碍脚。7月1日是一个星期六，杜鲁门悄悄离开白宫，乘坐总统游艇“威廉斯堡号”出游，放松几个钟头，把战争暂放脑后。当“威廉斯堡号”抵达华盛顿海军造船厂时，约翰逊未经通报，不请自来了，还登上了游艇。艾尔斯在日记中写道：“我们所有的人都看明白了：他这是在招摇过市，他知道这样一来，记者们就会在那里看到他。”
第二天，也就是7月2日星期天的下午，杜鲁门和女儿玛格丽特驱车前往弗吉尼亚乡间，到乔治·马歇尔将军在利斯堡的家中探访。杜鲁门对马歇尔十分敬佩，马歇尔在二战期间曾任陆军参谋长，后来出任国务卿。但是在1949年初，马歇尔在摘除了一个肾脏之后不得不退休，目前他担任美国红十字会主席，这基本上是一个荣誉性职务。马歇尔告诉杜鲁门，他对退休生活心满意足，但是他还说：“我是一名战士，你是我的总司令，如果你要我去国防部，我将效劳。”杜鲁门说，他还没有准备对约翰逊采取行动，但是他希望马歇尔考虑重返政府的事。
大约一天之后，约翰逊把自己陷入了作为哈里·杜鲁门的下属可能发生的最严重的麻烦之中：对总统不忠。艾夫里尔·哈里曼“面色煞白、心烦意乱地”来到白宫，告诉总统一桩非同寻常的事情。他去过约翰逊的办公室，当时这位国防部长正在跟参议员塔夫脱通电话。哈里曼听到约翰逊对塔夫脱几天前的一次讲话表示祝贺。塔夫脱在这次讲话中批评杜鲁门在对朝鲜危机采取行动时，事先没有跟国会商量，还要求艾奇逊辞职。约翰逊对塔夫脱说，这个讲话“可圈可点”。约翰逊跟塔夫脱打完电话后对哈里曼说，如果他们“能把艾奇逊拿下”，他将会“看到哈里曼当上国务卿”。
哈里曼离开了，立刻向总统汇报了这次谈话，并说他（哈里曼）“可没有这么轻易就被收买”。
杜鲁门还听到其他一些令人不安的消息。一位朋友告诉他，约翰逊对一帮西弗吉尼亚共和党人宣称，“在艾森豪威尔将军可能作为候选人的一定条件下……”他愿意“成为共和党保守派的总统候选人”。约翰逊还不停地向专栏作家德鲁·皮尔森泄露政府机密，通常是一些对艾奇逊和其他内阁成员不利的内容。杜鲁门在8月末与艾尔斯的一次谈话时说，约翰逊的状况“已经变得无可救药”，但是总统“目前似乎还没有办法”罢免他。艾尔斯在日记中写道：“总统……很明白，如果现在就罢免约翰逊，将会引发一场风暴，并给批评者和政敌提供更多炮弹。”
然而，艾奇逊拒绝在华盛顿龌龊的政治后院里跟约翰逊做斗争。虽然艾尔索普兄弟在他们的报纸专栏中指出“完全丧失原则”是“约翰逊的主要法宝”，但是艾奇逊吩咐国务院的部下们不要以任何形式批评或贬低这位国防部长。他知晓总统对他的信任，也知道杜鲁门对这样一个倒行逆施的内阁成员不会容忍太久。时候一到，约翰逊就会咎由自取，犯下致命大祸。果不其然，约翰逊栽在与麦克阿瑟将军有关的一件事情上。
8月25日星期五晚上，国务院副新闻官迈克尔·麦克德莫特在全国记者俱乐部大厦，一边站着啜饮酒水，一边阅读着一台纸带收报机上的通讯稿。他看到一则消息，是有关麦克阿瑟已经发到美国的一项声明，将递交给下周举行的海外战争退伍军人大会。麦克阿瑟的公关官员把声明的副本提前发给了多家出版单位，其中包括《美国新闻与世界报道》。该杂志的编辑决定刊登声明全文，美联社的那则消息就是根据这个文本而写的。麦克德莫特感到出了政策问题。他从机器上撕下这条消息，立刻打电话给艾奇逊。艾奇逊回答说，马上到他乡间的家里去。
艾奇逊阅读着麦克阿瑟的声明，脸上的胡须颤动着。这个声明对政府的远东政策全面横加指责。艾奇逊对其中一段特别反感：“没有什么能比那些在太平洋地区鼓吹姑息主义和失败主义的人的陈词滥调更荒谬的了，他们认为如果我们要防卫台湾，我们就是在放弃亚洲大陆。”麦克阿瑟宣称，东方人的心理是：尊重“勇于进取、果敢决断和充满活力的领导者”，反对“犹豫不决或者畏缩不前”的领导性格。他最后说，美国人要在太平洋地区“坚守”美国战略地位的决心，已经使远东大受鼓舞，“执行任何其他方针……都会把未来的任何战区向东推移5 000英里，直达美洲大陆的海岸”。
用艾奇逊的话来说：“没错，我们过去是在防卫台湾，没有人说我们不应该防卫台湾。第7舰队正在那里防卫着它，这好像是在朝鲜战争之前，政府当时的一个完全不必要的失策。”
第二天一早，艾奇逊向哈里曼和迪安·腊斯克谈了这个消息，大家都同意此事应该呈报总统。约翰逊也来到了白宫。杜鲁门在浏览那份声明时，“他显然是非常生气”。他对约翰逊说：“我希望撤回这封信，我要你给麦克阿瑟下令撤回这封信，这是我的命令。你明白吗？”
约翰逊回答说：“是，阁下，我明白。”
杜鲁门接着说：“那就去做，就这样。”
令人难以置信的是，约翰逊一到五角大楼办公室，就马上想办法对该做的事情重新进行讨论。他打电话给艾奇逊，说他“一直在反复思考”命令麦克阿瑟撤回那个声明的问题，因为这样做“将会引起巨大的尴尬”。他和参谋长联席会议另有一个主意：他们会告诉麦克阿瑟，如果他发表那个声明，“我们（显然是约翰逊和参谋长联席会议）”将会发表一项免责声明，“宣称这只是他一个人的意见，并非政府的官方政策”。
艾奇逊坚决不同意，此事“已经关乎谁是美国总统”。麦克阿瑟说的话，跟杜鲁门以及驻联合国大使沃伦·奥斯汀已经宣布的美国对台湾政策背道而驰。简单地宣称此声明只是个人观点，这将使总统和政府对这些问题“完全乱套”。声明的哪些部分不是官方政策？政府在该声明发表之前知晓多少？“只能让总统维护其权威，此外别无他法。”
约翰逊问艾奇逊，他是否认为“我们真要给麦克阿瑟发电报，说总统指示他撤回他的声明”。艾奇逊“看不到有别的办法”。
约翰逊继续争辩。艾奇逊回忆说：
他认为总统的这个命令没有道理，你不可能撤回一封已经发在电报机上的信。我说：“路易斯，不要跟我争论总统的命令有没有道理。我听到他给了你这个命令，你也接受了。不管它是不是可行，你最好去执行。他要这个命令送达麦克阿瑟。”
约翰逊还在坚持己见，艾奇逊挂断了电话。
这一整天，艾奇逊、约翰逊、哈里曼之间在电话中继续着这场争论，约翰逊的副手斯蒂芬·厄尔利也间或参加进来。用艾奇逊的话来说：“每个人都知道，最起码这将引起一场大混乱。”
哈里曼意识到了此事的后果，这显然是约翰逊和参谋长联席会议不想一语道破的：“这可能意味着麦克阿瑟被解职。但是，不这样做就意味着后患无穷，再也无法弥补。”
随着争议的继续，关于约翰逊忤逆不忠的消息传到了白宫。下午总统给约翰逊打电话，口授了他要送达麦克阿瑟的准确措辞：
鉴于与台湾相关的诸多内容有悖于美国政策及其在联合国之立场，美利坚合众国总统指示：你须撤回你致全国海外战争退伍军人宿营（大会）的信函。
约翰逊继续坚持己见。他在跟艾奇逊的另一次谈话中说，他、厄尔利和参谋长联席会议倾向于另外的带有约翰逊特色的措辞，这将否定掉声明中的“某些内容”（未加指明），并把它处理为“只是个人的声明，而非来自美国政府”。厄尔利陈述了撤回一份声明在技术层面的不可操作性，它已经被新闻通讯社广为传播，而且将要出现在已经付印的一份全国性杂志上。他建议：“或许总统可以在电话上跟麦克阿瑟谈一谈。”艾奇逊拒绝了这个主意：“这会把总统置于恳求的地位，他不会认为这是明智的。”艾奇逊说，一纸书面命令必须发出，“不能等着打电话来做决定”。
此时，哈里曼对约翰逊的蓄意阻挠感到十分沮丧，他建议他们“回到总统那里去”接着讨论。然而，麦克阿瑟打断了这场争论。在星期六晚上收到的一个电报中，麦克阿瑟说，如果总统希望他收回那封信函，他会照办。但是，据艾奇逊解释，他“并不知道他做错了什么。他以为他陈述了政府的政策，他不明白这里面出的乱子”。
哈里曼在回顾此事时认为，这一插曲开创了与麦克阿瑟针锋相对的一个重要先例。他被迫服从总统的命令，“这是麦克阿瑟从未经历过的”。
这场纷争的结果是约翰逊的下台。杜鲁门的第一个冲动就是要立即罢免约翰逊，并提名马歇尔将军接任，但是他发现马歇尔正在密歇根北部度假。当他打电话找到马歇尔时，将军这一边的讲话都被一家乡村店铺里好奇的农民们听见了。所以，当杜鲁门要他到白宫来时，马歇尔只能含糊其词地哼哈作答。
对约翰逊的实际处理过程，就跟导致了这一切的事件本身一样混乱不堪。杜鲁门想用马歇尔取而代之的想法泄露给了《纽约时报》，国防部长打电话到白宫问个究竟。杜鲁门对他说：“你4点钟左右过来，我们谈一谈。”
“路易斯进来时精神焕发，充满活力。”杜鲁门那天晚上说，“他不知道哪里出了问题。我让他坐下，我说：‘路易斯，我必须要求你辞职。’”
“他颓然垮下来，沉默不语。他趴在椅子上，我以为他要昏过去。他说：‘总统先生，我不能讲话。’”
杜鲁门尽己所能来抚慰约翰逊的自尊，他没有把真相——约翰逊是因为不能胜任和不忠不义而被革职——告诉他。杜鲁门说，要约翰逊去职的压力之大，他已经“无法再承受了”。
约翰逊还想争辩这件事，但是杜鲁门对他说：“路易斯，我已经做了决定，此事必须如此。”
约翰逊要求“给两天时间思考一下”，杜鲁门同意了（虽然他无意改变决定）。当约翰逊最后离开时，他“真是被打垮了”，杜鲁门对他的新闻秘书查尔斯·罗斯说。
“我对自己感觉不太好，”总统说，“这是我曾经不得不做的最困难的工作。我感觉就像是我把女儿玛格丽特打了一顿。”
但是愚不可及的约翰逊仍然死抱着他的职务。9月12日星期二，他来到白宫参加每周例会时，把空军部长托马斯·芬勒特也带来了，杜鲁门就没有提及辞职的事情。但是等到约翰逊和芬勒特一离开，杜鲁门就打电话给斯蒂芬·厄尔利，督促他“抓紧，把这件事情解决掉”。厄尔利和其他几位顾问为约翰逊写好了他的辞职信，提交给下午4时举行的一次内阁会议。
结果又生枝节。会议结束后，约翰逊把辞职信递给杜鲁门。这封信没有签字。
“路易斯，”总统说，“你还没有签字。签了它。”
约翰逊潦草地签上名字时，不禁潸然泪下。“我没有想到你会让我这样做。”
同一天，杜鲁门打电话给马歇尔将军，请这位老兵重出江湖接替约翰逊。当晚，杜鲁门在日记中写道，32年前，他是一名陆军上尉，而马歇尔在约翰·潘兴将军麾下任参谋军官。杜鲁门写道：“1950年9月12日……马歇尔将军和我角色换位，仍然一起工作，拯救这个国家和我们的生活方式。”