當天晚上，幾個大臣在無忌府第商議廢立之事，無忌的摯友也在內。那天下午很晚的時候，聽說中書令柳奭被免了職。柳奭是王皇后的舅父。由此看來，武氏是認真動起手來了。
無忌說：「柳奭竟被免了職！」又問褚遂良說：「咱們明天怎麼辦？」
「咱們怎麼辦？當然是堅持，不讓步。我的職責清清楚楚擺在眼前，沒有妥協。」
長安令裴行儉（後來為名將）一樣怒氣沖沖。他精通數學陰陽之理，深曉禍福之道。他說：「這種事情若任其發生，就是毀滅之始了。」
第二天早朝，情勢顯得很緊張。眾人正在等候進去的時候，聽說裴行儉又遭免職。因為昨天晚上在無忌府裡聚會，袁公瑜也在場，會後他連忙把裴行儉的話告訴了武氏的母親楊夫人。
褚遂良很難過。他說：「這又走了一個了。」他泰然而冷靜，告訴其餘的人說，他一定要制止此種措施，不然就辭官歸隱，或是寧遭貶謫流放——這些他都不介意。他的所作所為，自己心裡清清楚楚。
大臣們又魚貫入朝，臉上緊張嚴肅。高宗開口引用孟子的話說：「不孝有三，無後為大。王皇后未給朕生得一男。武宸妃生了男孩。朕意已決。」
褚遂良邁步向前，在寶座之下叩頭。手裡拿著象牙朝笏。
「將先帝的遺言提醒陛下，這是臣的職責。臣所承諾於先帝的話不能遺忘。若是聖意已決，臣已無話可說。今將朝笏敬還陛下。尚求陛下赦臣之罪，臣只有如此而已。」
他把朝笏放在寶座之前，在地下叩頭出聲，以示強烈抗旨之意。
高宗頗為吃驚。遂良態度傲慢，語氣粗暴。
突然，簾幕之後傳出尖銳刺耳之聲：「斬此老賊！」雖是女人的聲音，卻無嬌柔之氣，朝廷之上都能聽見。
無忌奏稱：「遂良因為職責所在，不得不言，不可加罪。」
高宗下命令：「拉出去！」
突然間，又跟昨天一樣散了朝。褚遂良被貶為潭州都督，潭州遠在湖南，乃山中小縣。遂良赴任而去，良心清白，無愧於中，毫無怨尤。至於來日如何，仍在茫然不可知之數呢。