武後殺害孫子孫女和武延基並不能停止人們的紛紛議論，人們談論得反而越發厲害。武後越荒淫，反對武後的力量越強大。朝中大臣現在都一齊反對張氏兄弟。張氏兄弟的堂兄弟等妄自尊大，在京都之中為非作歹，到處滋事，一如十年前瘋和尚馮小寶一樣。不過，只要張氏兄弟這些武後寵幸的小人在武後的後宮活動，大臣們也就不聞不問。可是張昌宗與另外兩個兄弟昌儀與同休卻野心越來越大，竟然干涉起朝政來。朝中儒臣目睹小人當道，以為是奇恥大辱。通衢大街之上，已經有人在牆上粘貼反對控鶴府中五郎六郎的文字。
宮廷中的醜聞散播各地，茶館酒肆之中一傳十，十傳百，傳播之快勝似驛馬使之傳遞聖旨。後來《鶴府秘史》竟成了一本野史的名字。魏元忠為人剛直嚴正（見第三十七章），疾惡如仇。有一次張昌宗的家僕滋事被捕，魏元忠當時官居御史大夫，下令將張昌宗的家僕當眾鞭撻。張昌宗有一弟昌期在魏元忠下為輔，指使百姓犯法，因為易之昌宗有權有勢，昌期任意胡為，無所忌憚。魏元忠在昌期的屬員面前，把昌期斥責一番，並且阻擋昌期另調一個肥缺。元忠向武後上奏折稱：「臣承先帝之顧，且受陛下厚恩，不能徇忠，使小人在君側，臣之罪也。」所稱「小人」顯然指張氏兄弟。
如今兩黨的仇恨是公然顯露了。魏元忠只是一心想掃除朝廷的淫邪。他並不是張柬之與姚崇的內圍人物。張昌宗先動了手。他在武後面前控告魏元忠，說魏元忠曾說武後年老，群臣應當迎廬陵王復位。這種控告當然招武後憤怒。還政權與兒子？她只要在世一天，廬陵王休想！
在武後與群小及魏元忠與支持他的那些忠臣之間，這件事成了一場重大的政爭。武後認為這個控告很嚴重，指定大臣開庭審問，廬陵王（哲）及睿宗（旦）都奉命到場。魏元忠將被審問，自行辯護。
張昌宗曾引誘鳳閣舍人張說證明曾聽見魏元忠說過擁立廬陵王。張說那時官居五品，張昌宗曾答應幫忙使張說陞官。張說為人聰慧，答應照辦。
各大臣已會集在前廳之中，就要進入正廳了。御史中丞宋璟為人性情暴烈，這時他向張說說道：
「你若助桀為惡，陷害忠良，那太可悲。你有什麼可怕呢？怕姓張的那兩個巾幗婦人嗎？這是我們的一場政爭，為了我們大家，堂堂正正地和他爭，自有天下公論支持我們。我先支持你，跟那些婦人相爭，即使遭受貶謫也光榮。怕什麼！」當時有些儒臣在場，史學家劉知幾也在。
劉知幾說：「死有重於泰山，有輕於鴻毛。你善自選擇吧。」別人也勸他要反對張昌宗。張說一看大家無不反對張昌宗，不管答應沒答應張昌宗，現在決定與大家合作。
魏元忠現在走進來，一臉怒氣。一見張說，他說：「你來反對我魏元忠，好畜生！」魏元忠一向是個奇人。
張說道：「大人何以說這種話！請相信下官，不必懷疑。」
鐘聲響了，話不能再說下去。大臣們魚貫而入。
這場博學儒臣與那些無知小人之爭真是有趣。武後開始問張說聽見魏元忠說過什麼。張說正想回答。張昌宗暗示他道：
「好，說吧！」
張說道：「回奏陛下。在陛下面前，張昌宗實在逼迫臣說他要我說的話。他在外面所作所為陛下也可想像得到了。如今在兩位殿下和各位大臣之前，臣要鄭重言明：臣從來沒有聽見侍中大人說過要擁立廬陵王反對陛下的話。那是張昌宗要臣說的。臣敢說，那種話純係捏造，並非事實。」
張昌宗一聽，不勝驚愕，不知說什麼好，大怒之下，脫口而出：「張說與魏元忠本是一黨，同謀造反！」
武後說：「這種控告非同兒戲，如無證據，不可亂說。」
「我有證據。」
「什麼證據？」
「有一次我聽見張說向魏元忠說魏元忠是周公，或者是應當作周公。」
各大臣一聽鬆了心，不禁啞然失笑。因為周公是聖人，是孔夫子心目中的古今完人。張昌宗本意是說魏元忠懷有野心，想做權位顯赫的周公。其實周公輔成王，忠心為國，向無不臣之心，為歷史上之聖人。如以人比周公，乃是表示致敬之意。
張說回答道：「張昌宗不熟讀經史，真是憾事。魏大人回朝之後，臣前往致賀。以周公之盡瘁國家相勉。為大臣者不以周公為法還當傚法何人呢？」
全庭大笑。張昌宗侷促不安，向武後耳畔低聲說了幾句話。武後大怒道：「張說，你這個朝秦暮楚的小人！」於是令人將魏元忠及張說帶出，改期再審。
次日，再行審問，張說供詞毫無改變。現在各大臣及王公須要共同審問張說。武後的侄子武懿宗也參與審判。
魏元忠的案子成了公眾關心的問題。各大臣都極力支援他。魏元忠永遠是一個風波中的人物。他前次遭武後赦還重予重用時，黎民百姓大喜，盛讚武後有知人之明。如今很多大臣向武後上本，其中也有桓彥范（桓為狄仁傑向武後保薦的），各大臣一齊向武後以生命保證魏元忠的忠貞。
可是，枕邊的一聲低語勝過公庭上的一場雄辯。武後一向喜愛魏元忠，如今依然未變。可是不能教她的寵臣失去面子。不管魏元忠有罪無罪，她又把他貶謫出京。
魏元忠來向武後辭行。他向武後說：「臣已年邁，此番離京，恐已不能生還得見陛下。請陛下聽臣忠言。將來總有一日陛下想起魏元忠，想起魏元忠的話來。」
武後藹然問道：「為什麼呢？」
這時張易之張昌宗都在殿中，魏元忠即手指二張說：「將來使陛下蒙害的必是此二小子。」
說罷向武後告別而去。
魏元忠去後，武後很感傷，說道：「元忠走了！」
但是這件事並未完結。這件事有失公正。魏元忠是以莫須有的罪名被貶出京的，只是衝撞了武後的寵臣罷了。當年朝臣被謫離京時朋友們總是在城外餞行。魏元忠出京之時，八個朋友為他餞行。張昌宗捏造了一個「蔡明」的名字上書向武後告密，說魏元忠離開京都之日，與八個朋友在京都城外一同謀反。
那幾個朋友都是官卑職小，武後指定一個大理寺卿審問那八人。並派一個官員去吩咐那個大理寺卿說：「陛下說這是一件小案子。審問一下回奏就好了。」
可是那位大理寺卿懷素並不以為這是件小案子。他不肯站在要謀害魏元忠的那一邊，而且他對魏元忠是非常敬重的。因為張昌宗對那八人控告的罪狀如果成立，魏元忠很容易在外遇害，無人能夠援救。武後，也許是張昌宗又傳話來：「事實很明顯，何以延遲如此之久。陛下已經不耐煩了。」
懷素不得已，去見武後。懷素無法找出原告「蔡明」是誰，也無法知道他的職位。
武後說：「我也不知道『蔡明』是誰。有這封信還不夠嗎？」
懷素回答道：「回陛下：如不得原告審問，臣無法定案。」
武後說：「根據信裡的話判就可以。不必問原告了。」
懷素說：「臣不能以一張紙為證據。因為也許根本就沒有『蔡明』這個人。沒有原告，沒有證據，臣不能判案。一封無名信是不足為憑的。」
武後說：「那麼你就放任被告叛國賊們逍遙法外嗎？」
懷素道：「臣豈敢！只是魏元忠為陛下大臣。他離京之時，朋友們顯然是為他餞行。臣良心上不相信魏元忠叛國。陛下如欲將他置之死地，陛下自有此種權柄。只要下一道聖旨就行了。如果陛下要命臣以大理寺卿之職判他有罪，臣不依法律是無法判案的。」
武後問：「你意思是說依照法律他們無罪，應當釋放嗎？」
懷素奏道：「回陛下：臣愚鈍，實在看不出那八人身犯何罪。」
如今事實很明顯，武後即便要判這位大理寺卿有罪也頗為棘手。她只好把這件案子擱置下去，以其他方法向張昌宗施以恩寵，安慰他一番便了。
魏元忠這是第三次被謫，將來還要再被重用，比以前更蒙恩眷，更受尊崇。