武帝死後，繼位的昭帝年僅八歲，政事皆由大司馬、大將軍霍光決斷[3] ，前述鹽鐵會議就是在霍光的授意下，由昭帝下詔決定召開的。與霍光一起受武帝托孤的上官桀之子上官安娶霍光之女為妻，生有一女。始元三年(公元前84年)，此女年僅五歲，上官桀父子意欲將其送入宮中為昭帝后，被霍光拒絕。後上官安通過武帝長女蓋公主之男寵丁外人的關係，達到目的，上官安被封為車騎將軍。霍光由於拒絕了上官桀父子封丁外人為列侯的請求，引起了上官桀父子與蓋公主的怨恨。桑弘羊也因為自恃在武帝時推行鹽鐵專賣之功，欲為其子弟求官而不得，亦對霍光專權表示不滿。這些反對霍光的勢力聚集在燕王旦周圍，密謀除掉霍光。燕王旦是武帝之子。
太子劉據因巫蠱之禍 死後，劉旦按次序當為太子。但他繼位心切，反遭武帝厭惡，不但未能立為太子，反被削去封國三縣，使劉旦大失所望。昭帝繼位後，劉旦更加不滿，曾與中山哀王之子劉長、齊孝王孫劉澤共同謀反，後因事洩失敗。劉澤等被處死刑，而劉旦因與昭帝至親，特許勿治。劉旦沒有絲毫悔改之意，暗中加緊網羅反對霍光與昭帝的勢力，不斷與上官桀等人聯絡。元鳳元年(公元前80年)，劉旦上書控告霍光 專權自恣，疑有非常 ，請求入京侍衛，準備與上官桀等人一起，趁機除掉霍光。他們誣陷霍光的陰謀破產後，便準備以宴請霍光為名，將其刺殺，然後廢昭帝，立劉旦為天子。事情被揭發後，霍光誅殺上官桀、上官安父子、桑弘羊、丁外人及其宗族。燕王劉旦、蓋公主自殺而死。 歷史上稱這一事件為 燕蓋謀反。燕蓋謀反 的失敗標誌霍光已清除了反對派勢力。此時，金日磾早已死去，而上官桀、桑弘羊又被誅殺，霍光的權力日盛， 威震海內 ，其家族黨親連體，根據於朝廷 ：霍光之子霍禹及其兄之孫霍雲皆為中郎將，霍雲之弟霍山為奉車都尉侍中，領胡越兵，霍光的兩個女婿范明友、鄧廣漢為東西宮校尉，其他昆弟、諸婿、外孫皆為奉朝請、諸曹大夫、騎都尉、給事中。昭帝行冠禮後，仍繼續委任於霍光。
元平元年(公元前74年)，22歲的昭帝病死。因其無後，群臣推舉武帝唯一尚在世的兒子廣陵王劉胥繼位。史書上稱劉胥好倡樂逸游 ，動作無法度 ，不為武帝所喜愛，亦不孚眾望，所以有人提出廣陵王劉胥不可以承宗廟的意見以後，霍光當即表示同意，遂以皇太后名義詔昌邑王劉賀繼位。
劉賀入朝受皇帝璽後不久，霍光又以其 行淫亂 、失帝王禮儀、亂漢制度，數進諫，不變更，日以益甚，恐危社稷，天下不安為名，率群臣上奏皇太后將其廢黜。
公元前74年，霍光選擇了武帝太子劉據之孫、十八歲的劉詢繼位，是為宣帝。劉據因 巫蠱之禍 死後，出生僅數月的劉詢被送至民間收養，後遇赦回至皇宮，被稱為 皇曾孫 ，但其地位與平民無異，娶嗇夫許廣漢之女為妻。由於他自幼生長民間，左右無眾多心腹，在中央亦無勢力，霍光便以其 躬行節儉，慈仁愛人 為由，迎入未央宮。