武後對事情總不會忘記。褚遂良雖然去了，但對長孫無忌、韓瑗、來濟的宿怨還沒有了。她還記得有人反對冊立她為後，有的人不置可否，有的超然局外。許敬宗把一切事情都奏明給她，大臣的一切她無不知道。比如說，長孫無忌就是超然局外的，一言不發。他不屑於涉身政事，與史官國子祭酒令狐德棻編輯《武德貞觀二朝史》。還有些人置身事外，不肯參加合作。武後最恨的就是思想獨立，最不能容忍的是別人和她的意見不同。韓瑗和來濟都是元老重臣，耿介剛正，忠言直諫，不懂諂媚逢迎，不知道遇事立即與武後意見一致。高宗這個丈夫，天生的優柔寡斷，毫無魄力，不但對武後沒有幫助，簡直是武後的累贅，正當春秋鼎盛之年，雖然看來還不像一隻已經朽廢的破船，但是已經各處鬆散吱嘎亂響了。武後喜愛秩序規律，而她看來，朝廷上卻是雜亂無章的一團。
現在到了武後鞏固自己的力量，建立一個由自己控制的政權的時候了。曾記得武後講那個悍馬的故事，還有鐵鞭子、鐵錘子和利劍吧？現在她要用那根鐵鞭子，把全朝廷鞭打成個新樣子。像馬戲團裡一樣，她先要擺出個架子，把鞭子辟啪打幾下兒。
侍中韓瑗是將挨這第一鞭子的，這因為武後的真正用意是要消滅太尉長孫無忌。但是無忌是皇帝的股肱，最有威望的人，不容拉攏為己用。武後並不插手就去對付無忌，這是她政治手腕高妙的明證。因為無忌是眾望所歸的重臣，必須先把別人消滅，讓無忌孤立起來。
韓瑗給了武後第一個機會。他竟敢奏請高宗赦免褚遂良的罪。因為褚遂良遭受貶謫，韓瑗的良心上始終不安。等待了一年之後，他以為作為一個朋友，作為朝廷的侍中，當朝廷對賢能之士處置有失公正之處，他應當奏請矯正，申雪冤屈。太宗時代的政風，有些仍然存在，賢良之臣對於國事，對於朝政，樂於固執己見。如有必要，即使冒犯君主，失去官位，亦在所不惜。
一天，韓瑗細心繕成一本，上朝奏稱：「朝廷貶謫賢良之臣，向為政風敗壞之征。遂良殫畢生之力以事先王，廉潔自矢，光風霽月。先帝引為知己，視同兄弟。遂良不言則已，言必公忠體國，藎言讜論，先帝受益亦多，是以臨終選擇，以受遺詔。此事陛下盡知，固不待臣之嘵嘵也。臣承恩充侍中，夙夜警懼，深恐小有不慎，貽大患於來日。今正義不行，賢臣遠謫，臣縱慾默默，豈可得乎？」他接著又從歷史上引證實例。他說國家之衰亡，政治之腐敗，皆因為疏遠賢直忠諫之臣。古代賢主明君莫不獎勵偉論，渴望忠言。因此深望高宗皇帝傚法先帝。他結論稱：「遂良雖有忤君之罪，然已受有一年之苦。陛下其憐而赦之乎？」
韓瑗也許不知道武後正坐在簾後，也許根本並不在乎。他奏完之後，皇帝說：
「你說的話我很敬佩。只是我以為你把事情看得太嚴重。我知道遂良為人正直，不過對我過於無禮。他對我如此大不敬，我貶謫他難道錯了嗎？」
韓瑗斬釘截鐵地回奏說：「臣意不以為然。一國之興，在於選用忠良之臣，在使忠良之臣能在其位。問題是究竟陛下需用奴才，還是需用人才。所謂一蠅之微也會使白布玷污。如今臣深懼小人之勢長，君子之道消矣。」韓瑗一時失口，竟引用不得體古語，「《詩經》上說：『赫赫宗周，褒姒滅之。』臣不願見唐室之衰亡也。」引用周朝亡國的褒姒，這個典故太不妥當了，話說得太不機敏，不夠圓滑。這似乎是公開侮辱武後。朝議之時，武後不聲不響，不過她的緘默倒更為凶險。韓瑗的命運算是注定了。
高宗怒吼說：「你下去吧！」
韓瑗十分沮喪，回家之後，修本辭官，但是皇帝不准。他這次求高宗赦免褚遂良，反倒使褚遂良立即被貶往更遠的地方——廣西桂林。雖然唐室組織機構依然如故，看來唐室的滅亡，已經開始了。
次年，韓瑗、來濟，被控結交燕王忠，圖謀造反。因為武後定了一個龐大計劃，要把反對她的人完全羅織在內。她記得前太子燕王忠，在十三歲時被廢，孤苦伶仃，無人照顧，生母出身卑微，義母王皇后又死去，情形極為特殊。心想利用燕王忠，誣他僭圖皇位，以他為中心人物，設計一個陰謀，把韓瑗、來濟，一切與自己相左的人，一網打盡。只要與自己意見不合，只要妨礙自己野心的，都歸入燕王忠一黨，都算是叛國奸賊。於是，此後幾年，在朝廷的政治上，都以這個孩子為中心，將忠良之臣，羅織株連。可憐燕王忠還不滿二十歲，慘遭迫害，恐怖萬分，只覺得一條性命，朝不保夕。
韓瑗流配瓊崖，在廣東海南島，夷民之地，蠻煙瘴雨之鄉；來濟則流配百越。
此種流放，皆由皇帝隨意決定，無須許敬宗特別提供罪名。罪名也許確實可靠，也許子虛烏有，如果確實可靠，燕王忠自然無法逃命，韓、來二人也勢必被斬首處死。罪證確鑿與否，並不關重要。有證據也罷，無證據也罷，許敬宗知道武後全力支持他。韓瑗流配之後，許敬宗就升任了侍中之職。
不幸，這還不算呢。許敬宗接著煞費苦心，誣構案情，最後堅稱這個陰謀造反的領導人物是褚遂良，在廣西桂林發動的，並且說這就是韓瑗位居侍中之時，為什麼要將褚遂良送到桂林的理由。後來褚遂良更遭遠謫，遠離了皇權的文教之邦，到了愛州（今越南清化）。遂良修了一個表，簡短而動人，追敘當年高宗在太宗靈前即位之時，痛哭失聲，伏在遂良肩上。遂良自恨有忤聖意，請求高宗赦免他的罪，准他安度晚年。表奏上去，如石沉大海，毫無消息。
一年之後，遂良病故，葬在愛州。兩子也貶在愛州，也先後病故。王皇后的舅父柳奭也在遠謫後喪身異鄉。這都是反對武氏冊立為皇后的結果。這也正好表示出武氏一貫的手腕，反對她的不得善終。褚遂良，剛毅忠貞之士，功在國家，竟落了個如此淒慘的下場。