當時，有盜越皇城入西內，東廠較尉緝捕逮獲，太監尚銘上報，憲宗甚喜，厚加賜賚。汪直聽後大怒稱尚銘違背其意獨擅功。尚銘恐懼，於是偷偷向憲宗上報汪直的過錯。憲宗因寵信李孜省，加上萬安勾結昭德宮而獨攬政權，亦稱汪直浸淫，憲宗於是漸漸疏遠汪直。成化十八年三月，科道交相彈劾西廠苛察，萬安亦稱應當罷免西廠，而劉珝持不可。憲宗竟然罷免西廠，朝廷內外官員均欣然大喜，劉珝則有慚色。
同年八月，因萬安恐汪直為王越所誘，於是請求恢復使用王越，調任鎮守延綏，而以都督許寧取代原職。成化十九年(1482年)六月，汪直因為與總兵官許寧不協，巡撫郭鏜上報，憲宗於是調任汪直為南京御馬監。同年八月，御史徐鏞上疏彈劾汪直欺罔罪，並稱：
汪直與王越、陳鉞結為腹心，自相表裡。肆羅織之文，振威福之勢，兵連西北，民困東南，天下之人但知有西廠而不知有朝廷，但知畏汪直而不知畏陛下。漸成羽翼，可為寒心。乞陛下明正典刑，以為奸臣結黨怙勢之戒。憲宗表示深深讚許，於是罷免汪直，削王越為威寧伯，追奪誥券，編管安陸州。兵部尚書陳鉞、工部尚書戴縉、錦衣指揮使吳綬被革職為民。原兵部尚書項忠恢復原職。並召還馬文升，升任其為左副都御史、巡撫遼東。此後逮捕韋瑛伏誅。