公元649年（貞觀二十三年），李世民病重，彌留之際，他單獨召見長孫無忌和中書令褚遂良，兩人被任命為輔政大臣。唐高宗李治即位後，對親舅推舉之恩萬分感激，立即進封長孫無忌為太尉，兼揚州都督，仍知尚書及二省事.長孫無忌也竭盡忠忱，數進良諫，高宗無不優納。李治還是太子的時候，一次遇到太宗才人的武媚娘，就被她的美色所吸引。太宗駕崩後，武才人被送往感業寺落髮為尼，李治以上香為名，到寺廟見到武才人，兩人立即如膠似漆。王皇后聽說此消息馬上令武才人留起頭髮，勸高宗納武才人為後宮。原來當時王皇后沒有孩子， 目的想奪有孩子而受寵的蕭淑妃。讓兩人沒有料到的是，武才人聰慧異常，不久就大受高宗寵幸，進封昭儀，王后、蕭妃一齊被冷落。
不久武昭儀生下一個女兒，王皇后見了心中真的十分憐愛，抱在懷中逗弄，然後離開。武昭儀暗中潛入，活活掐死自己的親生女兒，然後等高宗看視時大哭大鬧，陷害說王皇后弄死了自己的女兒。高宗勃然大怒，想廢掉王后。但是皇后母儀天下，又是結髮之妻，高宗自己還真做不了主，便想讓親舅幫自己一把。高宗和武昭儀多次請求長孫無忌廢掉王皇后，都沒有得到同意。高宗召集長孫無忌、李勣、於志寧、褚遂良四人入內殿。李勣比較世故，稱自己有病沒有去。褚遂良對長孫無忌說：「今日聖上召見，肯定是立後之事，上意已決，逆之必死。太尉元舅，司空功臣，不能讓皇上蒙受殺害元舅和功臣的污名。我褚遂良出身布衣，備位輔政，受太宗托之恩，當以死爭之！」君臣見面後，高宗說：「皇后無子，武昭儀有子，現在要立昭儀為皇后，怎麼樣？」
褚遂良答道：「皇后出身名門，是太宗皇帝為陛下所娶。先帝臨崩，拉著我的手說：『朕佳兒佳婦，今以付卿』。陛下您當時在場，言猶在耳。皇后沒有過錯，怎能輕廢！」高宗一時無語。幾天後，高宗又召見幾人，問同樣的問題。「陛下您果真想換皇后，可以從天下名族中仔細挑選.武氏曾侍奉先帝，天下所知.萬代之後，後世對陛下會怎麼評論呢！」褚遂良言畢叩頭言罪：「為臣逆忤陛下，罪當死！」並解下官帽放下手中官笏，請求高宗把他放歸田里。由於戳到高宗的痛處，李治大怒，命衛士把老頭子拉出去。武昭儀也在殿後大叫：「何不撲殺這個鄉巴佬！」長孫無忌此時喊道：「遂良受先帝顧命，有罪不可加刑。」同去的於志寧一直低頭不語，大氣不敢喘一口。過了幾天， 高宗召李勣入見，又問他這件事，李世勣比較老成世故，說：「此陛下家事，何必更問外人！」李治聽了暗喜。
得勢小人許敬宗趁機在上朝時對百官宣言：「田舍翁多收十斛麥，尚欲易婦；何況天子欲立皇后，關眾人屁事而妄生異議！」不久，李治下詔稱王皇后、蕭淑妃謀行鴆毒，廢為庶人，並立武昭儀為皇后。從此，高宗對長孫無忌不再信任，武皇后對他更是恨之入骨，但她摸不準長孫家族的勢力和底細，暫時不敢動他。公元659年（高宗顯慶四年），一直對長孫無忌懷恨在心的許敬宗借一起朋黨案件，把長孫無忌牽扯進去，誣稱他構陷忠臣，伺機謀反。高宗起初聞言還真吃了一驚，流淚說：「我家不幸，親戚間屢有如此事發生，往年高陽公主與房遺愛謀反，現在元舅又幹這事，使朕愧對天下人！如果事情屬實，怎麼處理？」許敬宗答道：「房遺愛乳臭未乾，與一女子謀反，能成什麼大事！長孫無忌與先帝一起謀取天下，為宰相三十年，天下畏其威名。如果哪天他忽然起事，陛下您派誰能抵擋他！為臣我從前也見過先例，宇文述與宇文化及父子都為隋煬帝親任，結以婚姻，委以朝政，一夕事發，先殺不附已之人，為臣一家也慘遭殺害，其餘大臣惶恐聽命，不過數個時辰，隋室已亡！」高宗沉默不語，只是流淚。
這許敬宗猜到他心裡的難處，立即說：「漢朝薄昭，也是漢文帝的舅舅，也有擁立之功。薄昭僅僅犯了殺人之罪，文帝就讓朝臣們身穿孝服齊坐於薄昭家門口哭吊活人，逼得薄昭自殺，至今天下以漢文帝為明主。現在，長孫無忌忘兩朝大恩，謀移社稷，其罪與薄昭不可同年而語啊。他是司馬懿、王莽一類人，陛下稍加猶豫，後悔無及！」高宗最後竟不加親自審問，就下詔削奪長孫無忌太尉封號及封邑，流放黔州。不久，許敬宗又派人到黔州重審長孫無忌謀反案，到州後逼令無忌自縊而死，並抄沒家產，子孫長流嶺外荒野之地。（微信號：songshugonghui）