我們先來看看在武則天和唐高宗對反對派進行大清洗的時候，長孫無忌在幹什麼呢？他在著書立說。中國古代政治家的傳統是「達則兼濟天下，窮則獨善其身」。被重用的時候就胸懷天下，幹一番轟轟烈烈的事業;不被任用的時候，就退回書齋之中，加強自我修養，著書立說。這叫進可攻，退可守。自從武昭儀被立為皇后以後，長孫無忌感覺自己在政治上難有作為了，因此心灰意懶，只想退到書卷中去，享受一點心靈的安寧。顯慶四年(659年)以前，他先後領銜完成了武德和貞觀兩朝的國史共八十卷，梁、陳、北周、北齊、隋五代的志三十卷，也就是現在隋書中的志，還有《顯慶新禮》一百三十卷，可以說是著作等身。有一句話叫盛世修史，一個興盛的王朝，就會有條件、有餘力去總結前朝的經驗教訓。唐朝建立了史館，開創了宰相領銜修史的傳統。有唐一朝一共修了八部正史，佔二十四史的三分之一，這其中就有長孫無忌的功勞。
長孫無忌想遠離政治，政治卻不會遠離他。武則天和唐高宗決心要建立一個屬於自己的朝廷，長孫無忌就是最大的障礙。但是，長孫無忌畢竟是皇帝的舅舅，又做了三十年的宰相，權傾朝野，威震天下。要扳倒他，需要慎之又慎。武則天是一個果斷的人，但是她並不急躁。在需要耐心的時候，她非常有耐心。在重拳出擊長孫無忌之前，她還需要先剪除他的羽翼。出於這種考慮，長孫無忌的老戰友褚遂良、韓瑗、來濟先行被掃出朝廷;與此同時，長孫無忌的親戚也難逃噩運。他的表弟太常卿高履行首先被貶出京，出任益州刺史。高履行是長孫無忌的舅舅高士廉的兒子，當年，長孫無忌的父親去世，年幼的無忌兄妹被同父異母的哥哥趕出家門，是舅舅高士廉收留了他們。因此，高履行和長孫無忌名分上雖然是表兄弟，但實際比親兄弟還親。緊接著，長孫無忌的堂兄、工部尚書長孫祥也被貶為荊州刺史。長孫無忌在朝廷中可以援引的勢力逐漸被剪除，就剩下他孤家寡人了，該是對他開刀的時候了。
動手整治當朝宰相，這得需要一個充分的理由。以這個理由為突破口，武則天的行動才名正言順，動起手來才會又快又準又狠。那麼，突破口在哪裡呢？
顯慶四年四月，洛陽人李奉節向唐高宗告狀說，他發現一個朋黨案件，太子洗馬韋季方和監察御史李巢，他們結交權貴，共結朋黨。這本來是一個很小的案子，針對的是中下級官員。但是這個案子一出來，武則天的火眼金睛馬上看到它的利用價值。她覺得這個案子可以做大，為什麼呢？因為這個案子牽涉一個權貴。這個權貴是誰呢？武則天希望他是誰，他就會是誰。那麼派誰去審理呢？武則天的心腹愛將許敬宗剛剛晉位宰相，立刻就被派上了用場。派一個堂堂宰相來審這種小案子，明眼人都能覺出這件事異乎尋常。許敬宗是聰明人，他知道皇帝和皇后希望看到的結果。他不會讓他們失望的。
許敬宗怎麼審案子呢？他大搞逼供，嚴刑拷打韋季方和李巢，讓他們招供自己結交的權貴是誰。當然，另一方面，許敬宗也巧妙地暗示這兩個人，只要你們供出長孫無忌，事情就好辦了。可是韋季方是個老實人，他哪裡敢隨便誣陷當朝國舅啊。再說了，在他淳樸的心中，長孫無忌簡直就像一座巍巍高山，他哪裡有機會結交這樣的權貴啊。這罪名堅決不能承認！但是許敬宗不停地逼他。最後，韋季方被逼無奈，就去撞牆，想要自殺。但是，小人物的悲劇在於，他連死的權利都沒有。他又被救活了，而且自殺成為他有罪的證據。沒有犯罪，幹嗎要尋死呢？許敬宗馬上向唐高宗匯報案情進展，他說，案子已經調查出眉目來了，韋季方的問題不是簡單的結黨營私，這裡面涉及一個陰謀，他是想和長孫無忌合謀，上下勾結，陷害忠臣和貴戚，試圖謀反。現在，韋季方看到陰謀敗露，只好畏罪自殺。
這可真是天下奇聞啊，一個堂堂宰相竟然和五品文官勾結在一起謀反！唐高宗聽了匯報之後，他怎麼反應的呢？據《資治通鑒》記載，他說了這麼一句話，非常有意思：「舅為小人所間，小生疑阻則有之，何至於反？」唐高宗並沒有質疑長孫無忌是否應該被牽扯進這個案子裡，甚至也沒有深究長孫無忌怎麼會腦子進水，和幾個小小的文官謀反。他只是說：舅舅被小人挑撥離間，心裡對我有猜疑是可能的，怎麼至於到謀反這一步呢？他用了一個疑問句。可是這個問句就把這個案子的性質給定下來了，這是謀反。唐高宗親口說出了這兩個字，但是呢，他用了一個疑問句，怎麼會謀反呢？許敬宗是一個聰明人，他當然知道怎麼樣處理皇帝這個疑問句，只要把它變成肯定句就可以了。據《資治通鑒》記載，許敬宗馬上就說：「臣始末推究，反狀已露，陛下猶以為疑，恐非社稷之福。」他說陛下您怎麼可以再懷疑呢，這就是謀反啊！唐高宗聽了以後長歎一聲，眼淚隨之滾滾而下，說：「我家不幸，親戚間屢有異志。往年高陽公主與房遺愛謀反，今元舅復然，使朕慚見天下之人。茲事若實，如之何？」他說，我們家真是家門不幸，怎麼親戚老謀反呢，過去高陽公主就謀反，現在我舅舅又謀反。如果這件事是真實的，我們該怎麼處理呢？定了調子之後，他要論罪責了。在這裡，唐高宗還給出一個先例，往年高陽公主也曾經謀反來著，這就成了長孫無忌案件處理的依據了。
高陽公主的謀反究竟是怎麼一回事呢？
高陽公主謀反案是永徽三年(652年)發生的一個大案，這個案子的處理者正是當時權傾朝野的太尉長孫無忌。高陽公主是唐太宗的女兒，人長得漂亮，又聰明活潑，也非常任性。小時候，她深得唐太宗的寵愛。唐太宗為了籠絡大臣，把她嫁給了宰相房玄齡的小兒子房遺愛。在唐朝，娶公主可不是常人能夠消受得了的福氣。自從高陽公主嫁進房家，房家就一天也沒有消停過。受寵的高陽公主結婚之後，處處刁鑽好勝，調唆丈夫房遺愛和大哥房遺直分家。房遺直被逼無奈，告到唐太宗那裡。唐太宗主持公道，狠狠地責罵了高陽公主一番，才把這件事擺平。從此太宗就不大喜歡這個惹是生非的女兒了。可是沒過多久，高陽公主又出事了。她跟和尚辯機私通的事情敗露了。有一次，高陽公主打獵，巧遇和尚辯機，兩人一見鍾情。高陽公主從此就包養了這個清秀的和尚，給老公戴了綠帽子。為了安慰老公房遺愛，她還送給他兩個絕色的婢女。房遺愛只能忍氣吞聲，不敢有什麼意見。可是紙包不住火，這個事情終究還是敗露了。貞觀年間，因為追蹤一起盜竊案件，御史搜查了辯機所在的寺院，搜出了一個宮裡的金寶神枕。追問之下，辯機承認是公主所賜。唐太宗覺得很沒有面子，盛怒之下，腰斬了辯機。嬌縱的高陽公主也因此恨透了這個嚴厲的老爸。貞觀二十三年(649年)唐太宗去世，高陽公主一滴眼淚都沒有流。
沒有了父親的管束後，高陽公主更加肆無忌憚，無法無天，包養了更多的情人。也許因為她的初戀是個和尚，所以她對這一類人總是情有獨鍾。和尚、道士這些方外之人士在她情人中佔了相當大的比重。但是，因為李唐王朝有鮮卑族的血統，對於傳統禮教不大在乎，所以公主的這些出位之舉還算不了什麼。她一生中犯的最大錯誤不是給丈夫戴綠帽子，而是和他在政治上攪到一起了。
高陽公主的丈夫房遺愛在貞觀朝屬於魏王李泰一黨。貞觀十七年，魏王李泰和太子李承乾因為爭位雙雙被廢，不久李治被立為太子。所以，到高宗時期，房遺愛在政治上屬於失勢派，被貶為房州刺史。房遺愛是公子哥兒出身，宰相的兒子，公主的丈夫，本來也是嬌生慣養的，到了地方之後，他不大受得了艱苦的生活，就滿腹牢騷，和一群跟他一樣失意的皇親攪在一起，整天講怪話。這一夥人除高陽公主夫婦外，還有輩分較高、野心勃勃的荊王李元景、當年同屬魏王陣營的巴陵公主駙馬柴令武，膽大腦小、因事貶官的丹陽公主駙馬薛萬徹等，整天在一塊兒發牢騷，其實倒也沒有什麼真正的舉動。儘管如此，他們還是被人告發了。告密者是什麼人呢？就是房遺愛的哥哥房遺直。高陽公主不是曾經張羅著和房遺直分家嗎，後來她又想要房玄齡的封爵了。可是爵位歸長子繼承，她的丈夫不是長子。於是，高陽公主一不做二不休，誣告房遺直非禮她，想借此搞倒他，讓自己的丈夫繼承爵位。房遺直終於忍無可忍了，另外，他也很擔心這小兩口鬧過了頭累及房氏一門，只好向唐高宗告發了房遺愛等人的政治陰謀。房遺愛組織反政府小團體，高陽公主又去結交和尚、道士，經常搞點什麼望氣、算命之類的不軌行為，兩人的活動加起來，這不就是謀反嗎！
這可不得了，皇親國戚參與謀反，事關重大，唐高宗立刻委託宰相長孫無忌調查。長孫無忌一經核實，反狀確鑿。國有常刑，這些人本來也是難免一死，但是，長孫無忌並不滿意這樣的結果。他還要借此機會把謀反案擴大，將所有的政治反對派都羅織進來，一網打盡。於是，在他的威逼利誘之下，房遺愛又牽扯出了吳王李恪。吳王李恪也是唐太宗的兒子，他母親是隋煬帝的女兒，血統非常高貴，李恪本人也英武果敢，有乃父之風，當年深得唐太宗的喜愛，唐太宗曾經一度動念頭要立他為太子，後來因為長孫無忌的反對才沒有實現。所以在長孫無忌的心中，一直把他視為李治的潛在威脅。現在，吳王雖然沒有參與房遺愛的行動，但是，因為這樣一段不愉快的往事，長孫無忌還是把他拉進來，以謀反罪將他處死。吳王一向人望很高，又小心謹慎，怎料會橫遭長孫陷害！據《資治通鑒》記載，李恪臨死前大罵：「長孫無忌竊弄威權，構害良善，宗社有靈，當族滅不久！」和他一起被殺的還有荊王元景，高陽、巴陵二公主以及房遺愛、柴令武、薛萬徹三位駙馬。接著，一大批對李治的統治形成威脅，或是跟長孫無忌不和的宰相、將領、宗室、駙馬，無論是否真的參與過陰謀，都被牽扯進高陽公主謀反案中，貶往地方。這就是永徽年間轟動一時的高陽公主謀反案。
長孫無忌當時把謀反案上綱上線地處理，本不乏為李治考慮，幫他穩定政局，殺李恪的用心正在於此。但是他的這番殺戮，隱隱露出了震主之威。看到長孫無忌收拾勳貴就像碾死一隻螞蟻那麼容易，李治能不心驚嗎？裂痕就在那時候出現了。風水輪流轉，當年的翻雲覆雨，如今全成了請君入甕。高陽公主謀反案，現在變成處理長孫無忌一案的先例。
唐高宗既然自己先提出了高陽公主謀反案，許敬宗接下來的事情就好辦了。怎麼處理長孫無忌呢？前事不忘，後事之師，按既定方針辦就可以啦。於是，許敬宗說：「遺愛乳臭兒，與一女子謀反，勢何所成！無忌與先帝謀取天下，天下服其智;為宰相三十年，天下畏其威。若一旦竊發，陛下遣誰當之？」他說，長孫無忌謀反的危險性遠遠大於當年的高陽公主謀反。高陽公主是一個女子，和乳臭未乾的房遺愛謀反，兩個人都沒什麼號召力，很難成事啊。但是長孫無忌和先帝一起謀取皇位，又當了三十年宰相，在朝廷裡威望很高。現在如果他狗急跳牆，振臂一呼，陛下怎麼辦呢？到此為止，案子的結論和處理意見基本都已經出來了。按照許敬宗的意思，在參考高陽公主案的基礎上，還要加重處理。但是唐高宗並沒有同意許敬宗的處理意見，他說這事別急於定論，你再審審看。許敬宗就納悶了，這案子還有什麼油水呢？回家苦苦琢磨了一夜，終於恍然大悟了。
第二天，許敬宗又上奏了。他說，我昨天又審了審這個案子，發現比我想的還要嚴重。原來以為只涉及長孫無忌一個人，現在才發現，這是一個牽連若干大臣的大陰謀。我昨天回去提審韋季方，我問他，說長孫無忌是當朝國舅，皇帝與先皇都對他那麼信任，他為什麼要謀反呢？韋季方說，這事開始也不是長孫無忌的意思，是韓瑗在挑撥他。韓瑗曾經對長孫無忌說，當年您和王皇后的舅舅柳奭以及褚遂良三人合謀立李忠做太子，現在李忠已經被廢，皇上也不信任您了，您還不早做打算啊？長孫無忌一聽，有道理啊，於是就日夜和這些大臣策劃謀反。都和誰策劃呢？韓瑗、褚遂良、來濟、柳奭，還有於志寧。看來，這不是長孫無忌一個人的事情，幾乎所有的元老大臣都和這個案子有牽連。
到了這一步，唐高宗終於覺得這個案子的利用價值被挖掘得差不多了，他再也無話可說，於是，長歎一聲，又一次潸然淚下。他說：「舅若果爾，朕決不忍殺之。若殺之，天下將謂朕何！後世將謂朕何！」我舅舅就算謀反，我也絕對不能殺他。我要是殺了他，天下人會怎麼議論我？子孫萬代將怎麼議論我啊？這等於皇帝完全認可了長孫無忌的謀反，但同時他還要作一番仁慈的表演，他要法外開恩，免去長孫無忌的死刑，以免被天下人恥笑。注意，這句話他可不是第一次說了。當年處理高陽公主謀反案的時候，他也曾經說過：「荊王，朕之叔父;吳王，朕兄，欲丐其死，可乎？」當時，長孫無忌不答應他的請求;現在，許敬宗同樣勸他大義滅親。許敬宗說了：「古人有言：『當斷不斷，反受其亂。』安危之機，間不容髮。無忌今之奸雄，王莽、司馬懿之流也;陛下少更遷延，臣恐變生肘腋，悔無及矣！」就是說皇帝應該天下為公，大義滅親，不能存婦人之仁。話說到這一步，唐高宗覺得該解決的問題都解決了，案情現在看起來脈絡清晰，處罰的理由充分，足可以讓天下人心服口服了。於是下令削去長孫無忌的太尉頭銜和封地，給他一個揚州都督的頭銜，把他押解到黔州安置。黔州是現在重慶的彭水縣，當時是挺偏僻的一個地方。不過，唐高宗說了，長孫無忌畢竟是他的親舅舅，不忍心看著他受苦，因此仍按一品大臣的待遇供給飲食。
可是事情到此並未徹底結束。前面說過，武則天要鞏固皇后的位置，必須對外廷重新進行優化組合。把反對她的人清除出去，把擁護她的人請進來。而在打擊反對派這個問題上，她是分兩步走的。第一步，清除反對派中勢力相對小的褚遂良、韓瑗、來濟，把他們貶往地方。第二步，在外圍組織已經被清理之後，再清除反對派的核心力量長孫無忌。這樣做是為了慎重起見，避免一下子打擊面過大，造成政局不穩。換句話說，就是讓反對派心存幻想，逐步喪失鬥志，最後坐以待斃。現在，長孫無忌已經倒台，唐高宗和武則天再沒什麼顧忌了。他們終於可以施展手腳，把反對派一網打盡。