武則天以為張氏兄弟是公卿之後、世家子弟，大臣們該沒人說閒話了，但忠心耿耿的內史狄仁傑偏偏不買賬。狄仁傑先前就曾力諫武則天撤除穢亂深宮的「控鶴監」，現在又梗著脖子對武則天說：「昔臣請撤『控鶴監』，不在虛名而在實際，今『控鶴監』之名雖已除去，但二張仍在陛下左右，實在有累皇上的盛名。皇上志在千秋，留此污點，殊為可惜，願罷去二張，離他們越遠越好。」右補闕朱敬也勸諫武則天：「志不可滿，樂不可極。嗜欲之情，愚智皆同，賢者能節之，不使過度，則前賢格言也……」
武則天煞有介事地解釋道：「我嬖倖二張，實乃為了修養身體。我過去躬奉先帝，生育過繁，血氣衰耗已竭，因而病魔時相纏繞，雖然經常服食參茸之類的補劑，但效果不大。沈南璆告訴我：『血氣之衰，非藥石所能為力，只有採取元陽，以培根本，才能陰陽合而血氣充足。』我原也以為這話虛妄，試行了一下，不久血氣漸旺，精神漸充，這絕不是騙你的，我有兩個牙齒重新長出來就是證明。」狄仁傑一時無話可說，只得順著台階就勢而下：「游養聖躬，也宜調節適度，恣情縱慾，適足貽害，希望陛下到此為止，以後不能再加添男侍了。」朝堂之上，君臣之間竟討論起男侍的事情，真是千古少見。不過，武則天晚年因保養得法，年高而不衰，卻也是事實，她還為此專門下詔改元為「長壽」呢。
神龍元年（705），宰相張柬之等五位大臣趁武則天病重，在玄武門發難，迎太子李哲斬關而入，斬殺張易之、張昌宗兄弟，逼令武則天退位，把皇位傳給李哲，即唐中宗。這年冬天，武則天病死。她以皇后身份預政24年，以太后身份臨朝稱制7年，稱帝15年，前後共掌政46年。她死後謚號「大聖則天皇后」，以高宗皇后的名義和高宗埋在一起，故後人稱她為武則天。
清朝著名史學家趙翼在《廿二史札記》中說：「人主富有四海，妃嬪動千百，後既為女王，而所寵幸不過數人，固亦未足深怪，故後初不以為諱，而且不必諱也。」意即歷代皇帝都可以嬪妃成群，而武則天身為女皇，寵幸的男侍前後不過數人，即使與歷史上不荒淫的皇帝相比，也是少之又少，沒什麼好指責的。應該說，這算是比較公正的評論。
武則天具有治國才能，統治了數千萬臣民，成為中國歷史上空前絕後的女皇帝，當然便有足夠的理由去追求奢華生活，她要的是和男性皇帝平等的情愛。另一方面，這也和當時的社會風氣開放有很大關係。唐代時理學尚未盛行，封建禮教還沒有完全建立，兩性關係並不像後世那麼禁錮與封閉，有些後人認為荒淫無恥的事情，當時人可能並不以為恥。例如，當時像韋後和太平、高陽、襄陽、安樂、郜國、永嘉等公主以及上官婉兒等人，在私生活方面都非常放縱，畜養著一群男寵。因此，我們在談論武則天寵幸男侍時，應該更加客觀地將她放在當時的環境中來評判。