公元前187年，孝惠帝去世。呂太后想立呂氏宗族的人為王，她想看看各位大臣的意見，就詢問王陵，王陵對她說：「這樣做不行。」呂太后接著又去問陳平，陳平卻說：「可以這樣做。」呂太后經過這麼一對比，厭恨王陵不支持自己的想法，於是假意提升王陵為皇帝的太傅，實際上是惡毒地剝奪了他的大權，不再重用他。王陵對此非常生氣，心想自己為漢朝平定天下立下了赫赫戰功，最終竟然落得了這樣的下場，就撂挑子稱病辭職，整日閉門不出，始終不肯朝見皇帝，七年之後去世。
計安劉氏
王陵被免除丞相職務後，呂太后就調任陳平為右丞相，任命辟陽侯審食其為左丞相。審食其也是沛縣人。劉邦在彭城西邊被項羽擊敗時，楚軍抓走劉邦的父親和呂後作為人質，審食其以家臣身份侍奉呂後，照顧左右。他後來跟隨漢軍打敗項羽被封為侯，受到呂太后的寵幸。他做了左丞相之後，一直住在宮中，掌握了朝中大權，文武百官都得通過他才能決斷事情。
呂嬃因從前陳平為高帝出謀劃策捉拿了樊噲，對他不滿，多次進讒言說：「陳平當丞相以後不理政務，每天飲美酒，玩弄女子。」陳平聽到後，不但沒有收斂，反而更加放縱。呂太后聽說了這件事，心裡暗自高興。她當著呂嬃的面對陳平說：「俗語說『小孩和婦女的話不可信』，就看你對我怎麼樣了。不要怕呂嬃說你的壞話。」
呂太后立呂氏宗族的人為王，陳平知道無法阻攔，便忍氣吞聲，假裝順從。等到呂太后去世以後，陳平跟太尉周勃合謀，終於誅滅了呂氏宗族，擁立孝文皇帝即位。漢初這些宮廷要事陳平都是主要策劃者。
以退為進
孝文帝即位後，認為太尉周勃親自率兵誅滅呂氏宗族，功勞最多。陳平看到孝文帝想重用周勃，就想把右丞相的尊位讓給周勃，於是托病引退。孝文帝剛剛即位，覺得陳平病得奇怪，認為他是不是有什麼想法，就親自去探問他。陳平對他說：「陛下，高祖在世的時後，周勃的功勞不如我陳平。到誅滅呂氏宗族時，我的功勞就不如周勃了。我願把右丞相的職位讓給周勃。」孝文帝這才恍然大悟，就順水推舟，任命絳侯周勃為右丞相，位次名列第一；陳平調職為左丞相，位次名列第二。
過了一段時間，孝文皇帝已經漸漸明瞭熟悉國家大事。一次，孝文帝在接受群臣朝見時問右丞相周勃說：「全國一年中判決的案件有多少？」周勃心裡不清楚，謝罪說：「陛下恕罪，臣不知道。」孝文皇帝又問：「那麼全國一年中錢糧的開支收入有多少？」周勃又謝罪說不知道，急得汗流浹背，慚愧自己不能回答。於是皇上又問左丞相陳平。陳平說：「有主管的人，陛下可以向他們詢問。」皇上便說：「那主管的人又是誰呢？」陳平回答說：「陛下若問判決案件的情況，可詢問廷尉；問錢糧收支的情況，可詢問治粟內史。」皇上意猶味盡，接著說：「如果各自有主管的人，那麼您所主管的是些什麼事呢？」陳平謝罪說：「為臣誠惶誠恐！陛下不知我才智低劣，讓我勉強擔任丞相的職位。丞相一職，對上輔佐天子調理陰陽，順應四時；對下養育萬物，讓它們適時生長；對外鎮撫四夷和諸侯；對內愛護團結百姓，使公卿大夫各自能夠勝任他們的職責。」孝文帝對他的話非常滿意，稱讚他回答得好。右丞相周勃則大為慚愧，退朝後埋怨陳平說：「您怎麼不在平時教我對答這些話，讓我在皇上和文武百官面前丟臉！」陳平撲哧一笑，對他說：「您現在身居相位，難道不知道丞相的職責嗎？陛下如要是問起長安城中盜賊的數目，您是否也要勉強湊數來對答啊？」這時絳侯周勃才知道自己的才能與陳平相差很遠，卻擔任這麼重要的職位，覺得真是無地自容。不久，周勃托病請求免去右丞相的職務，陳平獨自擔任整個丞相職務。
周勃離職
絳侯周勃的祖先是卷縣人，後來遷徙到沛縣。周勃出身微賤，家境貧寒，依靠著編織蠶箔來勉強維持生活。為了餬口，他還經常為辦喪事的人家吹簫、奏輓歌，以此為副業。另外，他身強力壯，力大無比，能夠拉開強弓。後來他跟從劉邦起義，作戰勇敢，立下了纍纍戰功。