宣帝未尝不阴忌霍家，因念霍光旧功，姑示包容，及览到相书，自无异言。相复托广汉进言，乞除去吏民副封，借免壅蔽。原来汉廷故事，凡吏民上书，须具正副二封，先由领尚书事将副封展阅一周，所言不合，得把正封搁置，不复上奏。相因霍山方领尚书事，恐他捺住奏章，故有此请。宣帝也即依从，变更旧制，且引相为给事中。霍显得知此事，召语禹及云山道：“汝等不思承大将军余业，日夕偷安，今魏大夫入为给事中，若使他人得进闲言，汝等尚能自救么？”问汝果做何勾当？禹与云山，尚不以为意。既而霍氏家奴与御史家奴争道，互生龃龉，霍家奴恃蛮无理，竟捣入御史府中，汹汹辱骂。还是魏相出来陪礼，令家奴叩头谢罪，才得息争。旋由丞相韦贤，老病乞休，宣帝特赐安车驷马，送归就第，竟升魏相为丞相。御史大夫一缺，就用了光禄大夫丙吉。吉曾保护宣帝，未尝自述前恩，此次不过循例超迁，与魏相同心夹辅，各尽忠诚。独霍显暗暗生惊，只恐得罪魏相，将被报复。且因太子奭册立以后，尝恨恨道：“彼乃主上微贱时所生，怎得立为太子？若使皇后生男，难道反受他压迫，只能外出为王么？”汝试自思系是何等出身？乃悄悄的入见霍后，叫她毒死太子，免为所制。霍后依着母命，怀着毒物，屡召太子赐食，拟乘间下毒。偏宣帝早已防着，密嘱保姆，随时护持，每当霍后与食，必经保姆先尝后进，累得霍后无从下手，只好背地咒骂，衔恨不休。有是母必有是女。宣帝留心伺察，觉得霍后不悦太子，心下大疑。回忆从前许后死状，莫非果由霍氏设计，遣人下毒，以致暴崩。且渐渐闻得宫廷内外，却有三言两语，流露毒案，因此与魏相密商，想出一种釜底抽薪的计策，逐渐进行。
当时度辽将军范明友，为未央卫尉，中郎将任胜，为羽林监，还有长乐卫尉邓广汉，光禄大夫散骑都尉赵平，统是霍光女婿，入掌兵权。光禄大夫给事中张朔，系光姊夫，中郎将王汉，系光孙婿。宣帝先徙范明友为光禄勋，任胜为安定太守，张朔为蜀郡太守，王汉为武威太守，复调邓广汉为少府，收还霍禹右将军印，阳尊为大司马，与乃父同一官衔，特命张安世为卫将军，所有两宫卫尉，城门屯兵，北军八校尉，尽归安世节制。又将赵平的骑都尉印绶，也一并撤回，但使为光禄大夫。另使许、史两家子弟，代为军将。
霍禹因兵权被夺，亲戚调徙，当然郁愤得很，托疾不朝。大中大夫任宣，曾为霍氏长史，且前此奉诏护丧，因特往视霍禹，探问病恙。禹张目道：“我有甚么病症？只是心下不甘。”宣故意问为何因，禹呼宣帝为县官，信口讥评道：“县官非我家将军，怎得至此？今将军坟土未干，就将我家疏斥，反任许、史子弟，夺我印绶，究竟我家有甚么大过呢？”宣闻言劝解道：“大将军在日，亲揽国权，生杀予夺，操诸掌握，就是家奴冯子都、王子方等，亦受百官敬重，比丞相还要威严。今却不能与前并论了。许、史为天子至亲，应该贵显，愿大司马不可介怀！”宣亦有心人，惜语未尽透辟。禹默然不答，宣自辞去。
越数日禹已假满，没奈何入朝视事。天下事盛极必衰，势盛时无不奉承，势衰后必遇怨谤，况霍氏不知敛束，怎能不受人讥弹？因此纠劾霍家，常有所闻。霍禹、霍山、霍云，无从拦阻，愁得日夜不安，只好转告霍显。显勃然道：“这想是魏丞相暗中唆使，要灭我家，难道果无罪过么？”妇人不知咎己，专喜咎人。山答说道：“丞相生平廉正，却是无罪，我家兄弟诸婿，行为不谨，容易受谤，最可怪的是都中舆论，争言我家毒死许皇后，究竟此说从何而来？”霍显不禁起座，引霍禹等至内室，具述淳于衍下毒实情。霍禹等不觉大惊，同声急语道：“这！这！这事果真么？奈何不先行告知！”显也觉愧悔，把一张粉饰的黄脸儿，急得红一块，青一块，与无盐嫫母一般。无盐嫫母、古丑妇。小子有诗叹道：
不经贪贼不生灾，大祸都从大福来。
莫道阴谋人不觉，空中天网自恢恢。
欲知霍氏如何安排，容至下回续叙。
孝妇含冤，三年不雨，于公代为昭雪，请太守祭茔表墓，即致甘霖之下降，是天道固非尽无凭也。天道有凭，宁有如霍显之毒死许后，纳入小女成君，而可得富贵之长保者？人有千算，天教一算，愈狡黠愈遭天忌，愈骄横亦愈致天谴；况霍显淫悍，霍禹、霍山、霍云，更游佚无度，如此不法，尚欲安享荣华，宁有是理？人即可欺，天岂可欺乎？逮至兵权被削，亲戚被徙，独不知谢职归田，反且蓄怨生谋，思为大逆，其自速灭亡也宜哉！观于霍氏之灭亡，而后之营营富贵者，可自此返矣。