呂祿相信了酈寄的話，準備奉還將軍的印信，把軍隊交給太尉。他派人將此事通報給呂產以及家族裡的長輩們。族人之中有人贊同呂祿的做法，也有人認為呂祿此舉會招來禍患，眾人各執己見，不能達成一致，最終沒有作出決定。呂祿很信任酈寄，經常和他一起外出遊玩、打獵。一天，在外出歸來的途中，呂祿去看望他的姑母呂須。呂須得知呂祿打算交出軍權，便非常惱怒地說：「你身為將軍卻打算離開軍隊，我們呂家人如今已經沒有安身立命之處了。」說罷，她把自己所有的珠寶玉器都散扔在堂下，又說道：「我不會替異姓之人保存它們的。」後來，呂祿將兵權交了出去，這使呂氏家族的處境就更加被動了。
誅滅諸呂
八月的一天早晨，平陽侯曹窋去會見相國呂產商議政務。正巧此時，郎中令賈壽剛從齊國出使回來。他是呂產的心腹，責怪呂產說：「您不早早地前往封國，如今即使您想回去都已經不可能了！」接著，他就把灌嬰與齊、楚等國聯合、結盟，準備誅滅呂氏宗族的詳細情況告訴給了呂產，並且催促呂產迅速進宮，先發制人。兩人的談話正巧被曹窋偷聽到，他立即把這個情況告訴給丞相與太尉。
周勃得知此事，便要闖入北軍，但是沒能成功。襄平侯紀通主管天子的符節印信。於是陳平等人命令他拿著天子的符節，假稱奉詔而使太尉進入北軍。與此同時，周勃命令酈寄與典客劉揭去勸導呂祿說：「天子派遣太尉統領北軍，想讓您回歸封國，立即歸還將印。如果您不這樣做，馬上就會大禍臨頭。」呂祿認為酈寄不會欺騙自己，就解下了將印並把它交給了劉揭，將軍權交給太尉。周勃便佩戴著將印進入軍門，下令軍中說：「打算替呂氏賣命的人袒露右胸，願意為漢家盡忠的人袒露左胸。」軍中士卒們都袒露左胸，表示願意效忠劉氏。周勃掌控了北軍。
雖然太尉周勃掌控了北軍，但是南軍還在呂家人手裡。於是陳平命令朱虛侯劉章去協助太尉。太尉命令劉章監守軍門，又命令平陽侯告知衛尉，不要讓相國呂產進入殿門。呂產不知道呂祿已經離開了北軍，仍然想進入未央宮，組織叛亂。但是他不能進入殿門，只能在門外徘徊。平陽侯擔心不能戰勝呂產，便派人火速通報太尉，請求太尉決斷。太尉也擔心戰勝不了呂家的人，沒敢公開說要誅殺呂產。他派遣朱虛侯去未央宮護駕。朱虛侯向周勃請兵，周勃便調撥給他千餘名士卒。朱虛侯率兵進入未央宮門，與呂產等人狹路相逢，雙方展開激戰，朱虛侯最後將他殺死。
此後，天子命令謁者持節慰勞朱虛侯。朱虛侯想要皇帝的符節印信，謁者不肯交給他。朱虛侯便和謁者共乘一車，憑藉著天子的印信而飛馳於宮中，斬殺了長樂宮衛尉呂更始。後來，朱虛侯到了北軍，向太尉覆命。太尉起身，向朱虛侯行禮祝賀說：「我所擔心的只有呂產，現在他已經被誅殺了，天下可以安定了。」隨後，太尉、丞相等人派人將呂氏宗族誅滅，穩定了政局。
擁立新君
誅滅呂氏勢力以後，朝中諸位大臣私下裡商議說：「少帝和梁王、淮陽王、常山王，都不是惠帝真正的兒子。呂後用欺詐手段用別人的兒子來假冒太子，殺害了他們的生母，把這些孩子帶入後宮並且撫養長大。呂後強迫惠帝認這些孩子做兒子，然後，立他們作為太子或者是諸侯王，借此增強呂家勢力。現在我們已經聯手誅滅了呂家勢力，但如果對於呂家所扶植的人置之不理，待他們長大成人而掌握政權，我們這些人就都會面臨滅種的危險。因此，我們應該從劉氏諸侯王裡選出一位賢明之人，立他為皇帝。」接著有人建議說：「齊悼惠王是高帝的長子，現在他的嫡長子即位為王，從血統本源上說，齊王是高帝的嫡孫，可以擁立他為天子。」不少大臣反對說：「呂氏因為是外戚而作惡多端，幾乎毀掉了劉氏的宗廟社稷、殺盡了名將功臣。如今齊王的母家是姓駟的，他的舅舅駟鈞是一個臭名昭著的惡人。假如我們擁立齊王，就等於重新扶植了像呂氏一樣的惡勢力。」後來大家又打算擁立淮南王劉長，但是由於劉長年少，他的母家人也很兇惡，於是也被否決了。大家又合計說：「代王劉恆是當今健在的高帝的兒子，是年紀最長的一位宗室王，他為人仁孝寬厚，母家薄氏嚴謹善良。況且，擁立長子本來就與禮制相符合，而代王又以仁孝聞名於天下，所以立他為天子最合適。」