杨夫人告诉杨敞：废掉刘贺的事，霍大将军已经决定；他之所以派杜延年来通知你，不过是需要你配合一下。如果你还犹豫不决，我们全族人都要成为你的陪葬品了。
杨敞恍然大悟。原来，在汉朝的政治天秤上，他不过是别人手里的一张筹码。
这时，杜延年回来了。杨夫人在杨敞一旁站着，杨敞仿佛有如天助，他坚定地告诉杜延年：“丞相府将鼎力支持霍大将军，一切听从他的指挥。”
六月二十八日，霍光在未央宫召开中央扩大会议。
除皇帝刘贺，以及刘贺的人外，参加大会人员有，丞相，御史，将军，侯爵，九卿，大夫，博士等。大会上，霍光宣布讨论议题：皇帝刘贺混帐，危害国家安全，请大家就这事讨论如何处置。
在场所有官员，犹如被晴天霹雳击中一般，全都做木偶状。全场雅雀无声，没人敢站出来哼哈一声。
然而不久，有人站起来了。站起来的人，是杜延年。杜延年首先向刘贺开炮：先帝刘彻将国家托付于霍大将军，将军忠心治国，天下平安。然而刘贺及其属下，自从进了长安，犹如火煮开水，搞得天下沸沸扬扬，鸡犬不宁。如此下去，国将不国，霍大将军又有何脸面见于先帝地下。我认为，今天大家必须统一意见，做出处理决定。所以我又建议，对于那些见风使舵，最后才响应的，当场格杀。
所有人都听明白了，今天这场大会就是谋划好的。要想竖着走出大门，必须站到霍光一边。于是，当杜延年话语刚落，所有人齐向霍光叩头，大喊将军英明，一切由将军说了算。
这个场面，霍光很是满意。此举说明，废掉刘贺已成功一半。接着，霍光率领文武百官，直接朝见上官太后，痛诉刘贺无道。骂完以后，霍光将他跟众官联名弹劾刘贺的书交了上去。
那个上官太后，就是霍光的外孙女。很快的，上官太后下诏：原昌邑王国的官员，一律不得入官；同时，召刘贺来见。
这招，就叫准备关门打狗。然而，刘贺还被蒙在古里。刘贺闻听上官太后召见，随即带着一帮人前往。
此时，霍光已在未央宫外守候。他告诉刘贺，今天只许你一人进宫，你的人通通在外等侯。
刘贺很是疑惑，问霍光：“为什么不让他们进来？”
霍光很客气地说：“对不起，这是上官太后的命令。”
顿时，刘贺心底涌起一股不祥之感。他知道今天这趟来，肯定是凶多吉少了。然而有多凶，他不知道。
事实上，刘贺的预感是对的。刘贺一人进宫后，他的人全被赶到金马门外。他们一被逐到金马门外时，发现车骑将军张安世已经率领羽林军等候多时了。
此时，刘贺更是不妙。他进宫后，霍光安排几个宫廷随从引他上殿。一路上，刘贺倍感不安。他问随从，好像我那些从昌邑带来的人，也没犯什么罪，霍大将军为什么不让他们进宫？
陪侍的人，没有人能回答刘贺这个问题，也不敢回答这个问题。
刘贺又问：“那么，你们知道上官太后为什么要召见我吗？”
仍然是一片沉默的回答。最后，刘贺被引到金銮殿前，发现场面异常严肃压严。上官太后，装整高贵；左右卫士，手持兵器；文武百官，按序排列。刘贺的心，不禁地抽搐起来。
刘贺的末日到了。
这时，宫廷秘书长（尚书令）宣读弹劾书。弹劾书很长，概括起只有一句话：刘贺荒唐无道，登基二十七天，竟然做了一千一百二十七件不法之事。
按弹劾书所举事实计算，刘贺平均每天，就做了四十一件被人抓住把柄的事。这实在太可怕了。更可怕的是，刘贺一举一动，都被霍光记录在案。
这说明什么？大汉的长安，仍然霍光的长安。刘贺进了长安，处处被监视，却仍然胡搞乱来，真是烂透了。
刘贺那二十天的皇帝成长史，尚书令读得累，上官太后听得却一点都不累。那上官太后，是汉朝历史上最年轻的太后，只有十五六岁。她开始还听得津津有味，越往后听，越是气愤。中间甚至打断尚书令，跳起来大骂刘贺。
刘贺像只被拔光了毛的鸡，伏在地上一动也不敢动。
最后，终于宣读弹劾书完毕。上官太后两话不说，当场批准废掉刘贺。接着，霍光命令刘贺起身，接诏书，谢太后。这时，刘贺想申辩几句，霍光很不客气，亲自动手，解下刘贺身上玉玺带。
最后，霍光还算客气，扶着刘贺下殿，直送出金马门外。文武百官，都来相送。此情此景，不胜唏嘘。我们因为走得太远，而忘记了来时的路。刘贺却不知道，此时被送出长安，茫茫前路，却不知所归之处。
这时，刘贺向霍光拜辞，说道：“我实在太过愚蠢了，长安真不是我呆的地方。”
霍光流泪了。莫名的，他不知何来一阵感伤。他这眼泪，替刘贺流，也替自己流。回想当年，陈平周勃，迎代王刘恒进京，何等成功。大汉盛世，由孝文帝起。事隔多年，霍光又履行当年陈平之责，却迎来了一个混帐刘贺，刘贺也由此创造了汉朝历史上最短命皇帝的奇迹。这，怎么不叫人心痛悲哀啊。
但是，对刘贺来说，这一切都无所谓了。不久，汉朝群臣上奏，建议上官太后干脆连刘贺昌邑王的名号也罢掉算了，将他放逐汉中，从此远离政治。但是，这个建议被上官太后否决了。
最后，上官太后批准刘贺按原路返回昌邑国，赐他两千户，作为汤沐邑。刘贺当昌邑王时的全部财产，仍归他所有。但是，作为惩罚，将昌邑王国撤除，改设为郡。
到此，刘贺犹如被武林高手废掉武功的邪派人物，终于结束他荒唐的混帐时代了。