劉賀集結昌邑舊臣，在大殿上尋歡作樂。龔遂冒死進諫，諫言專心國事，以安天下。劉賀倒也沒有拒絕，讓其余人退下。龔遂苦心勸諫，率先做出表率交出牌，請辭離開長安回昌邑。轉身離開時見到了王衡，龔遂冷哼一聲，大概認為劉賀如此昏頭是拜他所賜。

之后王衡叫來許多文官，手中把持有他們的把柄，命令他們跟他一起罷黜霍光。王衡把未來霍光會對他們所做之事一一說出，以此先發制人拉攏這些人到麾下。當然王衡也不會要他們做什么，只需要他們在霍光拉攏時別站在霍光那一邊，往后盡心輔佐新帝即可。

劉賀將霍光召進宮，將箭對準了霍光。霍光絲毫不畏懼，徑直朝劉賀走來。劉賀藏起眼里的殺意，繼續跟霍光演著戲。劉賀說想出城狩獵，希望得到霍光的首肯。霍光同意讓他出城狩獵，但卻讓霍禹同行，美其名曰霍禹騎射劍術均可。

出城狩獵前一晚，仍有許多官員游說霍光廢帝，霍光被勸動。既然有前朝典范在先，他便不再猶豫，打算撥亂反正廢除劉賀這個剛上位二十七天的新帝。田延年按照霍光的吩咐，連夜前去丞相楊大人及其他官員府上游說。楊大人的夫人也勸他聽大司馬大將軍的話，楊大人想起此前王衡所說，一時陷入了兩難之地。

霍光派去的人已經查明吳城村里有游俠，他下令不留活口。