霍家先派人联络广陵王刘胥。刘胥是武帝四子，也是燕剌王刘旦的弟弟。二人都是李姬的儿子，李姬虽然产子最多，却不得武帝宠爱，最后忧郁而死。后来李旦被霍光和孝昭帝联合逼死，刘胥的帝王梦又两次折在霍光手里，他对霍光是恨之入骨。
自从霍光死后，右将军霍禹开始拉拢刘胥，刘胥也希望借助霍家在朝势力，帮助自己站稳脚跟。望着霍禹寄来的信笺，刘胥大笑道：“儿啊，你可知道霍家为何联系寡人？”太子刘霸沉思片刻道：“父王，孩儿以为霍家没安好心，必然是想拿爹当枪使。咱们可不能上当啊！”
刘胥欣然点头道：“我儿有长进，霍禹这小子，还想赚寡人？他道行还不够！除非他肯答应拥立我为君，否则我不可能答应他任何条件。”刘霸惊骇道：“父王，这恐怕不妥啊！几年前楚王谋反，事情牵涉父王，陛下念在武皇帝面子上，不仅宽恕了咱们，而且还赏了您五千斤黄金。不久前陛下又册封弘弟为高密王，封我们为列侯，恩宠深厚。如果咱们忘恩负义，只怕会遭天谴。”
听太子一番分析，刘胥也逐渐动摇了。回想这些年的屈辱，先是侄子刘贺被拥立为帝，接着侄孙刘病已被立为皇帝，他心有不甘，咬牙道：“当初巫师说先帝托梦，必会把帝位传给寡人，如果不是霍光这奸贼从中作梗，寡人早就是天子了！如今寡人已经错过了两次机会，这第三次决不能错过！现在霍家与陛下斗得水火不容，正是寡人坐收渔利的好机会！”刘胥猛攥五指，竹简断裂两段。刘霸见劝不动，只好作罢。
霍家同时派人联系故昌邑王刘贺。刘贺是武帝五子刘髆的独生子，祖母是李夫人。李夫人是武帝最宠爱的妃子，武帝死后，霍光作为辅政大臣，率先追封李夫人为孝武皇后，李夫人这才得以与孝武帝合葬。后来孝昭帝不得不追封母亲钩弋夫人为皇太后，修建云陵安葬之，并设置园邑三千户。昭帝忧郁而死后，霍光之所以愿意拥立刘贺，就在于这层关系。
自从刘贺夺权失败后，霍光先废了他的帝位，后废了他的封国，刘贺无官无爵，只有汤沐邑两千户。后来病已可怜刘贺，于是将原来的宫殿又赐给了他。
刘贺经历了大起大落，深知病已雄才大略，霍光手段狠辣，料定二人必然忌惮自己，于是将朝廷宿卫全部打发走了。接着利用原先的家财，命人雇佣普通百姓站岗，防备盗贼，保护王宫。为防被人抓住把柄，刘贺又遣散了上千丫鬟，只留一百多人伺候，尚且比不上小小的豪门大户。
王宫大门紧闭，每日只开小门，派廉洁睿智的差役领取钱物变卖，再买回必需品。而且差役每天早上进出宫一次，此外不再随意出入。不仅奴婢不随意出宫，就连刘贺和妻儿也常年不外出。
自从被废，刘贺一直住在宫里，始终不曾出宫，既不主动与外人接触，更不与朝廷官员交往，相当于完全把自己封闭起来了。他以前最喜欢打猎，老虎、野猪不在话下，现在也都戒掉了。依然担心遭人忌惮，又常常装傻充愣，答非所问。
一日山阳太守张敞前往拜见刘贺，刘贺不敢怠慢，亲自在宫中接见。两人在湖边凉亭会面，正是酷暑时节，凉亭刚好纳凉。刘贺苦笑道：“请见谅，宫中没有藏冰，过于闷热，只好请府君到凉亭来。”
张敞客气几句，仔细观察，刘贺虽然只有二十五岁，却身体枯瘦，脸色发暗，胡须很少，显得中气不足。身穿短衣，戴武冠，头上插笔，一手拄着拐杖，一手攥着酒樽，满身酒气。之前他可是样貌清秀，身材魁梧，常常日行数百里，猎虎擒猪。没想到短短七年，物是人非，一代帝王沦落到如此颓废。回想往事，张敞不得不感慨万千。
那年昌邑王被拥立为帝，风光无限，躺在未央宫欣赏乐舞。张敞因为廉洁被太仆杜延年赏识，举荐为太仆丞。见刘贺与大将军斗得不可开交，张敞忙入宫劝谏，不料刘贺恼羞成怒道：“政事都握在大将军手里，让朕过问政事，无非让朕当个儿皇帝，看他处理政事。他既然那么爱处理政事，那就把政事都交给他处理好了，朕落得清闲。”
后来给事中兼羽林令龚遂、长乐卫尉安乐、未央卫尉王吉三人一起劝谏，刘贺依旧不为所动，还执意出行。没想到不久果然被霍光废黜，张敞暗暗叹息，也无能为力。
刘贺被废后，杜延年再次举荐张敞，于是霍光擢拔张敞为豫州刺史。后来病已见张敞上书言事十分有见地，于是迁张敞为太中大夫，职掌议论。不过张敞为官清廉，刚正不阿，不久又得罪了霍光。霍光一怒之下派张敞主持节减军兴用度之事，后趁机将他贬为京师，迁为函谷关都尉。直到多年后，杜延年三次举荐张敞，病已才调张敞为山阳太守，特赐玺书，命他就近监视刘贺。
张敞不敢怠慢，命专门主负责捕盗贼的贼捕掾进驻昌邑宫附近，专门负责巡查工作，并注意往来行人。又常常派官吏前往昌邑宫慰问，查探刘贺近况。这次之所以亲自前来，正是听到奏报，说附近有生人接近昌邑宫。
张敞故意问：“下官该怎么称呼阁下？”
刘贺苦笑道：“府君不是已经称呼了吗？”
张敞皱眉道：“阁下腿脚似乎不方便？”
“是的，最近莫名其妙栽了几次，总觉得腿脚没有以前利索了。”
“没有看病吗？如果有需要，下官派人来给看看。”
“不必了，都是以前老毛病了。再说，我也不常出宫，不像以前一样喜爱打猎，利不利索也没所谓了。”
张敞眉头皱得更很，“唉，阁下住得还习惯吗？要是缺什么东西，派人到官府吱一声，下官全部命人置办齐。”