顯慶四年（659年），在武則天的授意下，由許敬宗費盡心機，把長孫無忌編織進一樁朋黨案，進行惡毒陷害。許敬宗借處理太子洗馬韋季方和監察御史李巢朋黨案之機，誣奏韋季方與長孫元忌構陷忠臣近戚，要使權歸無忌，伺機謀反。唐高宗先是吃驚不信，繼而傷心懷疑，命許敬宗再察，然後面對許敬宗足未出戶編造的關於韋季方交待與長孫無忌謀反的供詞，哭泣道：「舅若果爾，朕決不忍殺之，天下將謂朕何，後世將謂朕何！」許敬宗舉漢文帝殺舅父薄昭，天下以為明主之例寬慰高宗，又引「當斷不斷，反受其亂」的古訓，催促其下決心。唐高宗竟然不與長孫無忌對質（或者他需要不進行對質），就下詔削去了長孫無忌的太尉官職和封邑，流徙黔州，但准許按一品官供給飲食，算是對元舅的照顧，長孫無忌的兒子及宗族全被株連，或流或殺。三個月後，高宗又令許敬宗等人復合此案，許敬宗派大理正袁公瑜前往黔州，逼迫長孫無忌自殺。
自從武則天當上皇后那一天起，長孫無忌就覺得自己大勢已去，覺得自己鬥不過她，便隱忍起來修國史去了。要不然，憑借他的威望和權勢，怎能任由武則天清除王、蕭，廢黜太子，培植親信，貶黜大臣？
此一時彼一時，現在你是當紅人物，而且有皇帝給你撐腰，我就不要犯傻跟你做對了，何況我以前得罪過你。我還是遠離政治吧，只要遠離了政治，你就會覺得我是一個無關緊要的人，就不會整我了。為了保全我的子孫們，同時為了我能有個善終，我服輸了，我要活下去。其實我什麼樣的場面都見過，我並不怕整，但我怕你，因為你太狠了！我惹不起你，還躲不起你嗎？
這是長孫無忌的心聲，所以當武則天在整頓朝臣時，他作為首席宰相卻一聲不吭。他不再作為了，於是決定另謀職業——修國史。長孫無忌這樣做就是想遠離政治，轉移武則天對他的注意力。不過，他也無心於政治，因為整個朝政已被李治和武則天控制了，他長孫無忌左右朝政的日子，已成了歷史。
武則天整頓朝臣的日子，也是長孫無忌潛心修國史的日子。從武則天當上皇后到顯慶四年四月，他一共編寫了武德、貞觀兩朝國史80卷，梁、陳、周、齊、隋五代史志30卷和顯慶新禮130卷。需要說明一下，李治和武則天外出旅遊這一年，長孫無忌也在埋頭修國史，因為他們壓根就沒帶他出去玩。
實事求是地說，長孫無忌為我國的歷史文化工程作出了傑出的貢獻，但再大的貢獻也磨滅不了武則天對他的仇恨，因為當年在他幾番拒絕扶持武則天上位，而又黑吃黑的時候，武則天就發過誓：早晚有一天，我讓你吃進去多少，就吐出來多少，直到把你的老骨頭都吐出來！
武則天是一個有仇必報的人，她絕不會放過長孫無忌。看來，長孫無忌是惹不起她也躲不起她了。
武則天從洛陽旅遊回京後，就一直在尋找機會除掉長孫無忌。顯慶四年四月，她終於找到了機會。但在機會來臨之前，她建議李治對宰相班子進行了重組，重組的宰相班子一共有六位：太尉長孫無忌(仍是首席宰相)、司空李勣、太子太師於志寧、侍中辛茂將、中書令許敬宗和黃門侍郎許圉師。在這六人當中，李勣和許敬宗是武則天的人，於志寧、辛茂將、許圉師則是中立派，而剩下的長孫無忌就完全被孤立了。
看到這裡，明眼人也許會問：兩年前被李治提升為中書令的那個李義府哪裡去了？
原來，李義府在顯慶三年(658年)犯事被貶了。前面作過交代，李義府恃寵放縱自己，什麼壞事都幹。後來他竟然縱容自己的兒子和女婿公然賣官鬻爵，在朝廷上影響極壞，卻無人敢管。新晉宰相杜正倫看不下去了，他偏跟李義府對著幹。為此，兩人經常在殿堂上大吵大鬧，李治忍無可忍，一怒之下就把李義府貶為普州(今四川安岳縣)刺史，把杜正倫貶為橫州(今廣西橫縣)刺史。
別以為李義府就這樣失勢了，不久之後，也就是李治重組宰相班子之後，他又在武則天的庇護下復出，擔任吏部尚書兼同中書門下三品，他還是一個宰相，他繼續活躍在政治舞台上，這是後話。
禍起無關案件
言歸正傳。孤立無援的長孫無忌，猶如一隻被圍困起來的獵物，只待武則天捕殺。顯慶二年四月，一件和他毫無關聯的案件發生，直接把他送上了斷頭台。
事情是這樣的。有一個叫做李奉節的洛陽人，狀告太子洗馬(太子政事和文理方面的導師，從五品)韋季方、監察御史李巢私交權貴，有搞朋黨之嫌。搞朋黨就是意圖謀反，案子很快被李治獲悉，他命令許敬宗和辛茂將審理此案。許敬宗接手這個案子後，嚴刑逼迫韋季方供出幕後指使者。這是一起簡單的案子，沒人指使，韋季方是一個有良知的漢子，他不冤枉別人，但也受不了許敬宗的刑訊逼供，他想一死了之，卻自殺未果。