武後袒護情郎張昌宗，以莫須有的罪名把魏元忠貶謫出京，朝中文武大為不滿。由狄仁傑向武後推薦的侍郎大臣以及其他大臣都緊密聯繫起來。人心激憤，對武後反感日甚，與來俊臣當權時大不相同了。有人把張昌宗兄弟等男娼的名字在街上粘貼，把他們和武後的穢聞編作山歌小曲唱，茶館酒肆中把張氏兄弟的名字改用作一些新制的精巧小吃的名字，把那些小吃當作茶食賣，或與西瓜子同吃。二張的名字之令人發笑，之污穢不堪，完全和當年瘋和尚馮小寶的名字一樣。武後對這種情形覺得很難堪。她覺得她的爪牙現在都沒有用了。張昌宗的弟弟張昌期現在已富得驚人，身居巨府大第。張氏兄弟越富有，野心越大，越惹國人痛恨。一個匿名的人夜間在張昌期的府第大門上寫道：「看你橫行到幾時？」第二天早晨擦去之後，第二天夜裡又照樣寫上，一直寫了六七天，總是一句：「看你橫行到幾時？」張昌期不耐煩了，拿筆在門上寫道：「為歡一日心已足！」
現在群臣要誅除張氏二小與逼迫武後傳位中宗兩件事，已經合而為一。由以張柬之為首的十五人暗中進行，將計劃密而不洩，外人無從知曉。十五人都是狄仁傑薦給武後任用的，其領袖人物為宰相張柬之，左御林衛將軍敬暉，檢校左御林衛將軍桓彥范，司刑少卿袁恕己，鳳閣侍郎崔玄。對張氏兄弟抱有反感的還有不少官員，他們並不知道張柬之等暗中進行的計劃，但是也切望誅除武後身畔的奸佞。所以大勢所趨，張柬之等的謀劃極易獲得朝中各官員的支持，造成政變最有利的氣氛。
控鶴府縱然穢氣熏天，只要不越出武後的私室之外，大臣們也可以忍耐不問。可是張氏群小的勢力日漸猖獗，陰謀可慮。大臣們準備反擊，一心一德，團結堅固，想在國法上向張昌宗找破綻。張柬之這時除暗中與心腹密謀之外，對外人一言未發。
多年以前，張柬之曾與摯友楊元琰立誓恢復唐室，掃除武後（見第三十七章）。所以張柬之官居高位之後，第一件事就是任楊元琰為右御林將軍。
張柬之說：「使君身當此任，並非無故。月夜江上之言當未忘懷，願共勉力。」
楊元琰心裡明白。姚崇也是狄仁傑薦任的，是張柬之一圈內的重要人物。張柬之之得任宰相，是姚崇向武後力薦的。
情勢日趨危急。魏元忠之被謫是在武後長安三年。長安四年，武後就老病纏綿，與寵臣張氏二小連月在房中鬼混。宰相也不能入見。二張心中憂慮。武後駕崩之後，他倆如何是好？武後已經八十一歲。最好的雄獺補腎丸與其他返老還童劑也阻止不住歲月的消逝，她與張氏兄弟的淫蕩生活也增進不了她的健康。張氏兄弟一看自己樹敵已眾，四面楚歌，於是竭力鞏固權位，以求對抗。通衢大街上已出現招貼，說二張正圖謀不軌，想篡奪皇位。在當年七月，大臣們發現張昌宗霸佔農民田地，於是想繩之以法。張柬之任他們放手做去，因為依法控告張氏兄弟，他倆的名聲將越發低落，亦必加甚國人對他倆的憤恨，武後也更難以自處。張氏兄弟身受國法自然是好，如果要像魏元忠的案子一樣徇情枉法，國人聞知，與武後與張氏兄弟更不利。不論落到什麼地步，對張柬之不會有害。
依照國法，為官者霸佔農民田地，當罰錢免官。幾個侍御史奏明張昌宗應當削去官爵。武後覺察出這件事情的政治意味。她的寵幸小人為人厭恨，她知道。可是她覺察出來，群臣向張昌宗進攻就是向自己挑戰，分明是向她一步步逼近了。
在建議之時，武後說：「我知道你們對張昌宗不滿。我想是張昌宗手下人搶了農民的田地。不管怎麼樣，張昌宗對君有功，看在以往，讓他保持官位吧。」
宋璟問道：「他有什麼功勞？」
武後向張昌宗的心腹小人宰相內史令楊再思問道：
「你說他有什麼功勞？」
楊再思回奏道：「昌宗為陛下治丹藥，服後得享上壽，可算有功。」（左補闕戴合言曾賦兩腳狐諷刺楊再思。）
楊再思話說得十分鄭重。群臣皆竊笑。
武後道：「不錯，昌宗官居原職好了。」各大臣不服。鸞台侍郎韋安石與另外大臣正式上本彈劾張昌宗，武後指派兩個大理寺卿審理。武後一看兩個大理寺卿竟認真辦起來，立刻運用手腳把韋安石和另外那個大理寺卿調開京都，彈劾案便擱置起來。
十二月，張昌宗被控罪行嚴重，因為他引星相家李鴻泰觀吉凶，看能否有帝王之命。蓍草顯示純陽之象，表示張昌宗有帝王之命。星相家這樣告訴他，並且勸他在定州興建一座廟祈求福運。星相家李鴻泰被捕獲。審問之時，他說蓍草的確出現純陽之象，並確言與張昌宗會見時談論張昌宗的帝王命運。案子正式奏與武後。張昌宗也立即上書武後，把李鴻泰的話奏明。這樣一來，張昌宗便可以先已自行奏明自解了。這是他自行辯護的方法。他並且設法請武後指定他自己心腹那兩個大理寺卿審問。兩個大理寺卿把判決書奏呈武後，上書說張昌宗確屬犯罪，不過他已經先行奏明，並未隱瞞，罪應當赦免。
左台御史中丞宋璟不肯退讓。他認為張昌宗謀反之意彰彰明甚，他向武後上本，為什麼張昌宗不早奏明武後，要到案發之後才奏聞？他請逮捕張昌宗交他審問。
武後不悅，把宋璟的奏本擱置起來。宋璟又上本。他說：「此種大逆罪行如不究治，何以塞國人之口？」
武後仍想拖延。她說：
「這件案子要鄭重辦理。等一等。我要親自閱卷。」
武後不想把情郎犧牲掉。群臣要食其肉而寢其皮，她知道。宋璟頑強不屈像個騾子，和魏元忠一樣。武後命令宋璟往揚州去調查一宗案件，這和以前調開韋安石的手段是一樣的。可是宋璟以京都官職重要，拒不肯往。武後又下詔命他往幽州，他仍不肯去。他對武後說：
「臣有職在京，無法受君命。依法御史中丞無大事不外使，如調查案件，亦必案件中涉及品級較高之地方官員，如屬品級較低者，亦必為監考御史。今無大事，臣不能前往。」
這件事又懸而不決。武後不肯把張昌宗交出，張昌宗在宮中，自然平安無事。大臣等紛紛上本力爭。桓彥范奏道：「張昌宗已兩犯國法，至今逍遙法外。請付三司考治。如不繩之以法，何不釋放天下囚犯？此案有關國家法統，豈可輕忽。」
御史台既無法鞫訊被告，即依據算命者之供詞與張昌宗向武後呈遞的自白書判案，結果判決張昌宗為逆臣，依法當誅。手持御史台之判決書，宋璟又進宮見武後，請武後將被告張昌宗交出。
宋璟奏道：「這是侍御史的判決，請陛下將被告交出審問。」武後道：「他已先向我陳明，可見他並非不忠。」
宋璟道：「他向陛下陳明繫在案件到御史台之後。如果案子不到御史台，他一定還緘口不言。這也不是一經招認便可赦免的罪。並且招認並不是自甘情願的。如果陛下寵臣身犯國法而獨赦免，國法之尊嚴勢將掃地無存矣。」
武後要安撫宋璟，心想可以勸服這位御史大夫將張昌宗放過。於是對宋璟說：
「你再思索一下好嗎？」
宋璟道：「臣知已開罪陛下。然激於大義，雖死不悔。」
在君臣僵持之下，兩腳狐宰相楊再思存心偏袒武後，他說：「讓陛下明斷好了。你下去吧。」
武後真是左右為難。過於分明蔑視國法她也不願意。她唯一的一條妙計就是重新玩當年救大方丈馮小寶的把戲。
武後把張昌宗派往御史台去了。宋璟一看大功已成，於是進行審問。還沒問幾句，武後派來了一個特使，持有上諭，把張昌宗立即召回皇宮去了。
宋璟低聲說道：「糟了！悔不該不一見面就把此賊鞭死。又放他走了！」
這是又一次正義掃地。由於老淫婦荒淫無恥，任情枉法，又使淫賊逃出法網。老淫婦之玩忽國法縱容奸惡已昭然若揭。張氏兄弟為惡之多已死有餘辜，而今日仍在武後卵翼下為非作歹，在人世享受榮華富貴，而多少忠直剛正的大臣卻因為莫須有的罪名慘死於地下了。
大臣已忍無可忍。張氏兄弟必須剷除，不論什麼方法，有效就好。張柬之要動手了。