冯玉祥说得很解气，但事情并没有这么简单。黄郛在冷静下来之后，判断“济案”绝非偶然，实际是日本干涉中国的一个信号，也是其阻止北伐的明确表示。如果革命军此时与日本发生正面冲突，不仅会使准备已久且胜利在望的北伐功败垂成，而且会迅速激化中日矛盾，导致中日提前开战。
黄郛向蒋介石建议暂时不与日军直接对抗，绕道济南继续北伐，之后再想办法如何对付日本人。
黄郛的想法道出了蒋介石的心声，他决定接受黄郛的建议。冯玉祥听后表示同意，对蒋介石说：“你有那种忍耐力我也赞成。”
随后，蒋介石改变了单一的军前交涉方式，令黄郛通过外交渠道与日方进行谈判。
民国年间，凡在对外交涉中喊打喊杀者总是能引起拥护和喝彩，比如老冯的“俘虏了再说”，谈判则会让主张者声誉受损，而且很容易招致国人的攻击。盖因外交本身就包含着妥协和忍让，而缺乏实力基础的弱国所需付出的妥协和忍让往往更多。
蒋介石虽同意交涉，却也很害怕因此损害自己“北伐英雄”的威名和形象。他电告黄郛，让黄郛以个人名义与日方谈判，而不要再用他“蒋介石”的名义。
同是把兄弟，蒋介石与李宗仁、冯玉祥之间实际是一种功利性很强的政治结盟，黄郛与蒋介石就不同了，他们的确有早期革命党人身上常见的那种患难与共的兄弟情。至少黄郛终其一生，都在实践自己在兰谱中的誓约：“安危他日终须仗，甘苦来时要共尝。”
因为在济案谈判中替蒋介石分忧担“丑”，黄郛个人饱受各方包括国民党内部的指责，并被舆论迅速定格为“亲日派”。他在电报中向蒋介石诉苦道：“反对派攻击外交，集中个人，甚觉困难。”
至5月中旬，黄郛基本确定了解决“济案”的各条具体办法。之后，他准备到前线去与蒋介石商量，不料形势却在这个时候发生了戏剧性的突变。
5月19日，蒋介石在郑州与冯玉祥会晤，商讨继续北伐和对日交涉事宜。说到快要成功的北伐，大家都笑。说到对日交涉，都发愁。蒋介石叹了口气对冯玉祥说：“膺白（黄郛）外交办理失败了，一般老先生均不满意。”
冯玉祥趁势建议：“何不任命王正廷为国民政府外交部长，让他与日本人交涉？”
蒋介石知道王正廷是冯玉祥的幕府中人。为了拉拢冯玉祥继续北伐，同时也为了确保自己在北伐即将大功告成之际，不因“亲日”而被新桂系等政敌所攻击，他决定采纳冯玉祥的意见。
第二天，在事先没有任何征兆的情况下，蒋介石致电黄郛，让对方“暂行辞职，并望从速”。
黄郛万万没有想到，蒋介石会在这个时候以突然袭击的方式将他免职。后来他在给张群的一封信中写道：“济案所受刺激，公私两项皆为生平未有之伤心事……实令我没齿不能忘。”
悲愤交加之下，黄郛立即致电南京政府，要求辞去本兼各职。
同为蒋介石的幕僚，蒋介石视张群为部下，对黄郛则相当尊敬，平时见面都称黄郛为二兄，黄郛的夫人为二嫂，绝不以普通宾客相待。见义兄真的发了火，蒋介石也慌了，他连忙给黄郛发去电报，一面解释情况，一面劝黄郛以大局为重，不可一并辞去兼职。担心电报说服不了，蒋介石又让时任国民政府主席的谭延闿出面，致电黄郛慰留。
黄郛的个性与何应钦等人有很大不同，属于外柔内刚型，一旦做出决定，绝不轻易动摇，而且他是见过大世面的人。他始终不肯加入国民党，仅靠私人关系帮蒋做事，本身也说明，对何应钦适用的一套在他身上并不能够奏效。
黄郛自此离开政坛，带着妻女到莫干山隐居去了。后来济案解决，他的朋友曾向黄郛提出，可以由这位朋友出面，请蒋介石在济案纪念周上加以申明，以免后世不明真相，仍然将“济案”的全部罪责扣在他一个人头上。
这时蒋介石的地位已经相对稳定，无论是对当初“丢马保车”的内疚，抑或出于此后敦请黄郛出山的需要，他都会愿意这么做，但是黄郛认为“恐妨碍国家，妨碍介石地位，主张不必”，没有接受朋友的好意。
作为蒋氏幕府中最具战略眼光的首席幕僚，黄郛不仅在决定蒋介石沉浮的关键时刻多次起到化险为夷的作用，而且在自己归隐之前，还为蒋介石推荐了另一位不可多得的谋略之士。正是在后者的帮助下，蒋介石才可能在波谲云诡的民国权斗中涉过新的险滩。