據說，漢宣帝劉詢即位後，公卿相們開始議論該立誰為皇后。大將軍霍光的女兒霍成君，是上官太后的姨母，典型的白富美，大臣們都傾向於她，但都不敢道破。於是，漢宣帝下詔尋求微賤時的一柄寶劍，大臣們知他有「糟糠之妻不下堂」之意，因奏立許平君為皇后。這是為什麼呢？原來，劉詢剛出生不久，就遇到「巫蠱之禍」。
最後武帝命寵臣江充為使者查清此案，江充與太子劉據（劉詢的祖父）有過節，就和案道侯韓說、宦官蘇文等四人誣陷太子，劉據被迫起兵。兵敗後，劉據自殺，不久和皇后衛子夫也一樣。劉據的妻妾兒女都被殺了，只剩下年幼的劉詢。儘管劉詢才幾個月後，但還是被關進郡邸獄，得到了廷尉監邴吉的照顧。不久，武帝生了一場大病，一些風水先生就對武帝說，長安獄中有天子氣。武帝二話不說就派人到首都的各個官府獄，殺掉那些囚犯。邴吉的之後，將劉詢暗中藏起來。等到大赦時，邴吉將劉詢送到自己祖母家裡撫養。後來武帝查明真相後，下詔將劉詢寄養在掖庭，這裡一般是宮女居住和犯罪家屬婦女配沒人宮勞動之處。不過，讓劉詢感到高興的是，自己重新被編入宗室屬籍中。
掖庭令張賀原是劉據的部下，出錢供劉詢讀書。長大後，張賀為他迎娶掖庭暴室屬官許廣漢女兒許平君為妻。許廣漢曾昌邑哀王劉髆的侍從官，之後隨漢武帝出遊時，誤取別人的馬鞍放到自己的馬背上，被執法機構定為盜竊，死刑。不過，當時漢朝有律令：死刑犯可以選宮刑。許廣漢最終成了太監。後來許廣漢又因搜捕不力犯罪判刑，送到掖庭聽差，最終當上暴室屬官。在劉詢最困難的時候，許平君不僅不嫌棄丈夫，還與他相依為命。劉詢與許平君成婚後，生下劉奭（漢元帝）。公元前74年，劉詢被擁戴為皇帝，許平君被封為婕妤。儘管許平君已經被立為皇后，但是霍光的妻子霍顯還是想讓女兒成君當皇后。當她聽說許平君剛生下一個女兒時，就暗中命女醫淳於衍在滋補湯藥中下毒。許平君服用後不久毒發身亡。漢宣帝悲痛欲絕，追封她為「恭哀皇后」。
話說霍成君當上皇后，那些不良的劣根子就暴露出來，與賢德的許皇后真是天差萬別。劉詢忍住了。僅幾年時間，霍光去世了，劉詢為他舉行國葬。地節三年（前67年），漢宣帝封許平君的父親許廣漢為平恩侯，立劉奭為太子。霍顯這下不幹了，授意霍成君找機會毒殺劉奭，但均未成功。翌年七月，霍家發動政變未遂，事後霍家幾乎都被殺或者自殺。漢宣帝也廢掉霍成君，不久自殺身亡。