漢宣帝的龍案上放著一封書信，拆開一看，原來是茂陵的徐福寫來的，信上說：「霍家掌權的時間太長了，他們的子孫人人封侯，連霍家的女婿都掌握了兵權，權勢實在大盛了，連皇上都不放在他們的眼裡。皇上如果不採取措施抑制他們的勢力，說不定霍家要走上反叛滅族之路呀！」
漢宣帝雖然對霍家也有成見，可是皇后都是霍家的人哪，如何下得了手呢？再說，自己對霍家恩重如山，他們也不至於會心懷二心謀反篡權。他把書信丟在一邊不予理睬。
沒有幾天，徐福的書信又到了漢宣帝的案頭，再次提醒皇上對霍家要提高警惕。漢宜帝仍然把信擱置一邊不理。
幾個月後，當漢宣帝第三次收到徐福上書的時候，開始討厭這個人了。事隔不久，霍家果然陰謀政變，幸好被人告發，沒有造成大害。漢宣帝大怒，咬牙切齒地嚴令將霍家消滅，重賞告發的人，唯獨沒有賞賜三次上書的徐福。
有人為徐福受到皇上的冷遇忿忿不平，上書漢宣帝說：「我聽過這樣一件事，有個客人到人家去玩，看見這家的煙囪是筆直向上的，旁邊還堆著不少柴草，就勸告他們說，這種狀況很容易發生火災，應該把煙囪砌成彎曲的，把柴草搬到較遠的地方去。那家主人說煙囪已經砌了幾年了，都是這個樣子，從沒有出過事。不久這家真的失火了，附近的人都趕去救火。火災撲滅了，主人請救火的人到他家去吃酒，唯獨沒有請那個提醒注意火災的客人赴宴。後來經人批評後，才把那位客人請到宴席上坐了上位。」
漢宣帝看到這裡，覺得那家失火的人把提建議的客人忘了，這是不足取的。接著，他又讀了下去：「茂林徐福三次上書陛下，指出霍家權勢太重，應該防止他們走上謀反的邪路上去。如果皇上採納了徐福的意見，限制了霍家的權力，那麼，霍家就沒有力量謀叛了，也不致遭到滅族之禍，國家也就沒有必要拿出大量的土地和官侯去分封眾人。可是，陛下卻偏偏不賞徐福，這同遭到火災的主人獨獨不請提建議的客人上酒宴一樣，是不公平的。這樣，以後誰還敢冒著危險上書陛下，去揭露你身邊潛伏著的隱患呢？」
漢宣帝覺得這個上書人說得合情合理，就把徐福召進宮殿予以重賞，還讓他當了個郎官。