当初，霍氏奢侈，茂陵人徐生说：“霍氏必亡。奢侈，就会不逊；不逊，就会冒犯君上。冒犯君上，就是逆道而行。你的地位比所有人都高，那大家都看你不舒服。把持大权的时间越长，看你不舒服的人就越多。天下人都看你不爽，而你又逆道而行，你不灭亡，更待何时？”于是上疏给皇上说：“霍氏的权势，已经满盈，陛下就算厚爱他们，也要及时抑制，不要让他们走向灭亡！”上疏三次，都只接到一个“知道了”的回复。其后霍氏被诛灭，那些举报霍氏的人都有封赏，有人就替徐生抱不平，上书说：“臣听说，有一个客人过访主人，看见主人家炉灶的烟囱直直伸出，旁边又堆了一堆木柴，客人就对主人说：‘把烟囱改弯，木柴搬开远一点，否则将有火灾！’主人默然不应。不久家里果然失火，邻居们一起扑救，幸而把火扑灭。于是杀牛置酒，酬谢他的邻居们，被烧伤的人坐在上席，其他人按功劳大小，依次而坐，却不邀请那位让他改造炉灶烟囱的人。有人就对主人说：‘如果当初听了那位客人的建议，不用杀牛摆酒，也不会有火灾了。’主人于是醒悟，去请那位客人。如今茂陵人徐福，数次上书说霍氏将有变，应该防备杜绝。假如当初听了徐福的话，那么国家也没有裂土封侯的支出，臣子没有逆乱诛灭的灾祸。事情过去了，而唯独徐福没有功劳，希望陛下明察，让那提出改造炉灶建议的人，比救火被烧伤的人更尊贵！”皇上于是赏赐徐福绸缎十匹。后来，又封他做郎官（宫廷侍卫）。
皇上刚刚继位的时候，谒见高帝庙，大将军霍光骖乘，陪同乘车，皇上心里非常紧张畏惧，有压迫感，如芒刺在背。后来，车骑将军张安世代替霍光骖乘，皇上就很放松，从容舒展，心安理得。等到霍光身死而宗族覆灭，大家就传说，霍氏之祸，就萌芽于他骖乘之时。
过了十二年，霍皇后迁移到云林馆居住。霍皇后自杀。
班固赞颂说：
霍光受襁褓之托，任汉室之寄，匡国家，安社稷，维护昭帝，拥立宣帝，就算是周公、伊尹的功勋，也不过如此！但是，霍光不学无术，不明大理，为了保护妻子的邪谋，立自己的女儿为后，沉迷于日益满盈的无穷欲望，一路顶格到颠覆之祸，死后仅仅三年，宗族夷灭，哀哉！
司马光说：
霍光辅佐汉室，可以说是忠臣，但是，却不能保护自己的家族，为什么呢？因为作威作福，是皇上的权柄，为人臣者，把这权柄执在自己手里，久久不肯缴回，这样很少有能不逃脱厄运的。以孝昭皇帝之明，十四岁就知道上官桀的欺诈。孝宣皇帝继位的时候，已经十九岁，聪明刚毅，知晓民间疾苦，他还没有能力亲政吗？而霍光却久专权柄，不知避去，多置私党，充塞朝廷，让人主蓄愤于上，而吏民积怨于下，切齿侧目，待时而发，他自己能平安降落，已经是万幸！更何况他的子孙，更加骄傲奢侈，能不加速灾祸吗？
虽然如此，假使孝宣皇帝在亲政之后，能以爵禄富贵赏赐他的子孙，让他们有一个大县做采邑，定期来朝见，也足以回报霍光的恩德了。为什么还要让他的子孙们主持政府，掌握兵权，等到事态发展到不可收拾了，又加以裁夺，让他们怨恨畏惧，以至于铤而走险？这样的结局，难道仅仅是霍氏自取灭亡吗？也是孝宣皇帝纵容酝酿的吧！春秋时期，斗椒作乱于楚国，楚庄王夷灭了他的家族，但是仍赦免了斗克黄（楚国令尹斗谷于菟的弟弟斗子良，生子斗椒，斗谷于菟死后，斗椒为楚国令尹。斗椒谋反，全族被灭。斗克黄是斗谷于菟的孙子），认为如果斗谷于菟没有后代，如何劝勉人民向善呢？霍显、霍禹、霍云、霍山之罪，虽然灭族也不冤，但是，以霍光的功勋，也不应绝祀，不为霍光留一个苗裔，宣帝也未免刻薄寡恩了。
柏杨说：
继吕家、卫家之后，霍家是第三个被灭族的皇后家族。不同的是，吕家、卫家都没有谋反之意，而霍家是真的要干。
王夫之说：
霍光之祸，萌发于第一次陪皇上乘车之时。那张安世也同样参与废立，为什么张安世骖乘，皇上就轻松自若，霍光在旁边，皇上就如芒刺在背呢？因为声音笑貌之间，已经盛气逼人，而霍光自己却不知道。皇上呢，当时情夺意动，只是紧张，也不知其所以然。
《论语》里，子夏问孝道，孔子回答说：“色难！”不给父母脸色看，是最难的事！岂止是子女对父母呢，朋友相处之时，宾客相接之际，一句话还没说，就已经影响对方情绪了。因为人的神色气质，自己不能自制，俄顷之间，就暴露了你的心思。《诗经》说：“温温恭人，惟德之基。”德的用处太大了！而德的基石，就是温良恭敬！气质沉静的人，他的相貌，不用刻意，就自然恭敬而气量悠远；他的脸色，不用刻意，而自然温良。就算有盖世功勋，也不居功自傲，德行深厚，已入化境，宽以居之，仁以守之，学问以养之，然后和气涵养于中，而英华和顺于外。呜呼！这哪里是霍光所能理解的呢！立下震惊世界的功名，以国家社稷为己任，气势如虹，要行志于天下，志气涌动，无法自持，骄傲的神气，溢满车厢，把皇上都逼得芒刺在背了，他还不知道！
周公和霍光的功勋相当，但是，周公处在被猜疑的危境之时，始终保持戒慎恐惧，有惴惴之小心，斯有温温之恭德，这样，就算有雄猜之主，嫉妒之小人，也自然打消了他的念头。
华杉说：
干大事，靠修养，不靠本事。本事可以用别人的，修养则只能是自己。我们每个人的问题，都是缺德。
读《资治通鉴》，也读张居正给明神宗将资治通鉴的讲义，惊讶地发现他对霍光之败，竟无一字讲评。他是刻意回避霍光吗？因为他也处在和霍光相似的地位，而他死后家族的结局，也和霍家相似。他败的原因，也和霍光差不多吧！君子多识前言往行以畜其德，但是知行合一太难！所以秦人不暇自哀，而后人哀之；后人哀之而不鉴之，亦使后人而复哀后人也！
