現在朝廷上平靜了，死一般的平靜。蘇東坡攜眷離都之時，當年仁宗在位年間的名臣儒吏都已清除淨盡，四散於外地。歐陽修正退隱於安徽富陽。蘇家世交張方平家正在河南淮陽。
蘇子由年前即被神宗任命為淮陽州學教授。蘇子由也有其特點，不像兄長子瞻那麼倔強任性，但一直潔身自好，使清譽不受玷染，能照顧自己免於危害，所以挑選一個平安卑微的職位，與賢士大儒相往還。後來張方平辭官歸隱，遷居河南商邸，或稱「南都」，子由請調至商邸為官，次年，蘇東坡往返京都之時，總是路宿張宅，向張方平請求指教，如對叔伯長輩。司馬光與呂公著現在西都洛陽，過著退隱的生活，呂晦病重將死，死前，他呈給皇帝一個難題求教：
臣本無宿疾，遇值醫者用術乖方，妄投湯劑，率情任意差之指下，禍延四肢，浸成風痺。非祗憚風痺之苦，又將虞心腹之變。雖一身之微，固不足恤。而九族之托，良以為憂。
賢德的老宰相富弼還不能平安度日，他已經降職為博州太守，當道認為他推銷青苗貸款，辦理不力。並且他還膽敢上奏折稱：「此法行，則財聚於上，人散於下。」這時王安石的心腹鄧綰，突然十分活躍起來，一看有機會可以效忠主子了。他向主子說可以控富弼阻礙新政之罪，於是宰相的顯爵全被剝除，調至另一縣去任太守。但是王安石於願未足，對皇帝說富弼所犯之罪，情如堯舜時之「四凶」，倘若只將他的宰相官爵褫除而已，何以遏阻其他奸邪之輩？皇帝對王安石所奏，置之不理，任由富弼去擔任那一卑小的職位。富弼在往就新職途中，路過南都，訪問老友張方平。
老相國感慨系之，他向張方平說：「知人甚難。」
張方平說：「你說的是王安石嗎？我認為瞭解他並不難。當年我有一次和他共辦鄉試，他就把一切老規矩都弄得亂七八糟，我就把他調離我的部下，再不理他。」老宰相自覺難堪，又起程趕路。在老年，他常常仰望屋頂，默然歎息。
蘇東坡離京之前，京中曾發生一次暴亂。在前年冬天，保甲制便已實行，新兵在鄉村受軍事訓練，新兵疑心受訓的用意，以為會調離家鄉，會開至北方去和外族打仗，於是臨近京都的村子裡發生了示威抗議。騷亂之發生還另有原因。當時官方命令農人自備武器，其實也只是弓箭而已。父子相擁而泣，村民有斷腕以躲避徵調者。由於這次暴亂，王安石就要丟掉他最後的一個朋友韓維，因為韓維正是那一縣的太守，他奏明暴亂經過，呈請暫將軍訓延緩，至深冬舉行，因那時農忙已過，空閒較多。就因此一表章，連韓維也遭罷黜了。
要使王安石失勢，還須上天顯示昭然可見的徵兆，須要宮延門吏的仁行義舉。在神宗熙寧六年（1073年），南嶽華山山崩。皇帝至為慌亂，依照習俗，乃遷居另一宮殿，以示敬仰神祇，並下令以粗糲三餐上進。此外，自此年夏季到次年春季，一直乾旱不雨，皇帝至為憂愁，不知如何是好。他問王安石，王安石回答說：
「旱澇乃是天災，在堯湯之世也曾發生。吾人之所能為者只是力行善政而已。」
皇帝說：「我所擔心的也是此事，恐怕我們所行的不是善政啊。我聽見關於商稅法的怨言甚多。宮裡人人都聽說了，連皇后、太后也聽說了。」
另一個閣員大臣馮京也在場，他也說：「我也聽說了。」
王安石回答說：「為什麼我沒聽人說？馮大人之所以聽說，是因為所有發怨言不滿的人都奔赴你的四周了。」
現在命定要成大事的渺小人物快要出現了。他叫鄭俠，就是畫難民圖的皇宮門吏。他呈給皇帝的難民圖上，畫的是帶著腳鐐的難民在砍樹掙錢，用以付還官家的青苗貸款。鄭俠還隨圖附上一篇短文：
竊聞南征北伐者，皆以其勝捷之勢、山川之形，為圖來獻。料無一人以天下之民質妻鬻子、斬桑壞捨、流離逃散、皇皇不給之狀，圖以上聞者。臣謹按安上門逐日所見，繪成一圖。百不及一，但經聖覽，亦可流涕。況乎千萬里之外，有甚於此哉！陛下觀臣之圖，行臣之言，十日不雨，即乞斬臣宣德門外，以正欺君之罪。
鄭俠上對
皇帝把畫卷帶到寢宮，給皇后和皇家別人看。先說話的是皇帝的祖母：「我聽說百姓為了免役稅和青苗貸款，其苦不堪。我覺得我們不應擅改祖制。」
皇帝回答說：「但是實行新法也是為民謀福，並無害民之意。」
太后又說：「我知道王安石自有大才，但是已然樹敵甚眾。為了他自己的好處，你還是暫時把他的職務中止吧。」
皇帝說：「我發現在滿朝大臣之中，只有王安石願意身當大任。」
皇帝的弟弟岐王這時正立在一旁。他說：「我認為你應當聽聽祖母老人家剛才說的話。」
皇帝突然大怒說：「好！好！我不會治國，你來接。」
岐王說：「我不是那個意思。」
大家僵住，靜了片刻，然後皇太后說：「這些亂子都是王安石闖的，你要怎麼辦呢？」
第二天早晨王安石罷相，但呂惠卿和鄧綰仍然在位。皇帝決定把商法、青苗法、免役法、保甲法、土地登記等一共八種新法，中止推行。
天開始下雨，老天爺高興了。
但是王安石的時刻還未到。彈劾門吏鄭俠還得需要技巧。鄭俠第一次循正規獻畫時，宮廷的官吏拒而不受，說以官卑職小，無權與皇帝上奏章。鄭俠乃到京師城外的官差站，因為此系非法利用官差制度，鄭俠要在御史台受審。
審問的結果如何，歷史上並無記載。但是次年正月，鄭俠又將一畫冊呈獻給皇帝，名為《正人君子邪曲小人事業圖》。所繪乃唐代賢臣奸佞圖像，雖未指明系宋代當時權要，而前代奸佞之輩所作所為，卻與當代奸人有其相似處，一看便知，絕不致誤，即使容有含混難解之處，畫冊上的故事也可以祛除心中的疑問。與這本畫冊同時進獻的還有一個奏章，推薦一位賢人出任宰相，因為此時王安石已遭罷黜。現在當政的是呂惠卿，鄧綰已然改向呂惠卿效忠。在這兩個小人狼狽為奸之下，將鄭俠貶謫到偏遠的廣東去。
在鄭俠離京之前，一位御史前去看他，對他說：「所有各御史對朝政都鉗口不言，獨君一人挺立不屈，做此殊死戰，殊為可敬！而今似乎全御史台監察朝政之重任，移到一宮廷門吏的肩上了。」那個御史於是交給他包好的兩卷名臣奏議，都是彈劾御史台裡當權的小人的文章，並且對他說：「我把這些資料交託與你，務必妥為保管。」但是呂惠卿由於他那頗有效能的偵察網，獲得了這項消息，他派舒亶在路上追到鄭俠，搜查他的行李。按照此兩冊上曾經批評朝政的官名，呂惠卿、鄧綰、舒亶乃按部就班地逐一迫害那些人，並予以監禁。呂惠卿打算把鄭俠判處死刑，但是皇帝阻止道：「鄭俠謀國而不謀身，忠誠勇氣，頗可嘉許，不可重罰。」所以鄭俠仍准徑赴流放之地，未予阻撓。
蘇東坡去世之後，一黃某獲得蘇東坡一珍貴的手稿，其中有蘇東坡下列的名句：「處貧賤易，處富貴難。安勞苦易，安閒散難。忍痛易，忍癢難。人能安閒散，耐富貴，忍癢，真有道之士也。」每一個革命派在未得勢之前，能表現出最大的力量與團結；但在既已清除反對力量之後，則開始由內部的紛爭而分裂，終至崩潰。在力圖推翻別人時，人性中的精華發揮作用；在企圖控制別人時，則人性中之糟粕發揮作用。只要情況順利，這群小人各有肥缺在手，鄧綰、呂惠卿、曾布之間，則忙得無空閒自相爭吵。但在王安石一旦失勢，情況開始逆轉，此一幫派則內部失和了。
在此失和之前，內部腐壞的種子早已播下。王安石的兒子很恨呂惠卿，而呂惠卿很恨曾布，而鄧綰是跟著兔子跑，卻幫獵狗忙，吃裡爬外，所以往後是夠忙的。王安石最後只落了一個兒子。這個兒子，聰明外露，古怪任性，而又殘忍凶暴，王記集團許多惡行他當負其責任。現在他已長大成人，他已經開始管理家中的錢財，他的叔伯不再能像往常那樣亂用王安石的錢。這個權傾一時的宰相的傲慢無理的兒子，以為憑態度惡劣，由他的令人厭惡，便可以顯得出人頭地。據說，新政初期，一天，道學家程灝正在王安石家開會。這個兒子出現了，頭髮散亂，赤足無鞋，手拿女人的頭巾，一直走到父親跟前，問他們正在說什麼話。
王安石回答說：「我正和程先生談論新政，我們的新政總受到別的大臣批評。」
兒子一下子坐在大人坐的座位上，大笑道：「只要把韓琦和富弼的頭砍下來就夠了。」
王安石自己為他兒子受了什麼罪，隨後自可看到。王家不是和睦可喜的一家人，因為這一家有兩個叔叔，一直不贊成王安石的做法，特別警告王安石提防呂惠卿那個騙子。孔夫子一次說人應當「驅鄭聲，遠佞人」。有一天，王安石正和呂惠卿商討政事，弟弟安國在外面吹笛子，王安石向外面弟弟喊道：「停此鄭聲如何？」弟弟應聲回敬道：「遠此佞人如何？」
現在這一幫派很擔心他們的前途。但是呂惠卿並沒完全失望，而且正好看到自己得勢之日已近，取王安石而代之機會到了。世界上有些人能隨意操縱眼淚，呂惠卿和鄧綰便是此等人。他倆去見皇帝，以一副極為動人的樣子在皇帝面前哭，好像他想到國家的前途就悲從中來。應用他們動人的口才，又把皇帝拖回了原來那條老道路，而呂惠卿也官拜了宰相之位。
現在爭吵真正開始了。全國的市易務官呂嘉問這時遭到彈劾。市易務的濫權枉法的報告，自然傳到皇帝耳朵裡。皇帝問王安石，那時王安石還在京都。 王安石回奏道：「嘉問一向認真守法，自然樹敵甚眾，所以才受攻擊。」
皇帝說：「但是朝廷從商稅方面收到的錢的確很少，而且我很不喜歡官家賣水果、賣水、賣煤這等事，對朝廷太不體面。」
王安石回奏道：「陛下不必為這些小事操心，這是低級員司管的事，皇帝只要留心朝廷的主要政策就行了。」
皇帝回答道：「即便如此，可是為何朝廷上人人把這種措施看做暴政呢？」
王安石回答道：「請把那些人的名字交給臣。」
這些骯髒齟齬的口角爭吵，不值得詳談。實際上的內幕是市易務官呂嘉問身居要津，開始公然蔑視條例司，污辱了一個叫薛向的官員，而曾布卻偏袒著薛向，攻擊呂嘉問，呂嘉問因而免職。呂惠卿和曾布奉命調查此一案件。呂和曾二人一向交惡，二人與王安石的關係，正如斯大林與托洛斯基之與列寧一樣。在調查期間，呂惠卿開始攻擊曾布，曾布也開始攻擊呂惠卿，曾布垮台。
這是糾紛的開端。呂惠卿而今成了朝廷唯一的魁元。他不但抓住鄭俠案件的機會罷黜了王安石的弟弟王安國，又藉著無處不在的鄧綰的幫助，想把王安石牽連在山東省一個謀反案件中，其實那是由一個親王發動的。王安石被控與叛逆串通，因為他與一逆賊是朋友。還有另一個閣員，也曾名義上做過宰相，他與呂惠卿極不相容，他想使王安石官復原職，用以抑制呂惠卿。他除去請皇帝罷黜呂惠卿，重用王安石之外，又送一密函與王安石。控告謀反自然事極嚴重，王安石於七日之內，火速晉京。
王安石與謀反一案確無干係，在神宗熙寧八年（1075年）二月，又重任宰相。這時使鄧綰有幾分尷尬，他只好連忙背棄呂惠卿，又投入王安石這邊來。為了重獲王安石的青睞，他決定出賣呂惠卿。鄧綰背著王安石，暗中和王安石的兒子勾結，控告呂惠卿勒索華亭商人五百萬緡。朝廷降呂惠卿官，出為太守。鄧綰以呂惠卿如此輕易逃過，心有不甘，乃聯合呂嘉問請求重新審問，將呂惠卿羈押在京師的御史台監獄中。
一度權勢炙手可熱的小人權要，一一遭到罷黜，鄧綰也非例外。鄧綰還依然是精力充沛，他親眼看到呂惠卿垮台，又看出皇帝對王安石也日形厭倦。他以天縱陰謀之才，洞燭機先，心想下一個身攬大權的人必是王安石的兒子和女婿。他上一表章，請皇帝將此二人陞遷重用。但是王安石和皇帝對鄧綰的變節背信早已厭膩，不但不心存感激，反將他罷官斥退。鄧綰現在對人性應當是失去了信心吧！
呂惠卿在御史台監獄等待審判之時，他對王安石發出了最後的一擊。原來那些年他保存了王安石的一些私人信件，以備敲詐之用。現在他把這些信都呈交給皇帝，控告王安石在皇帝背後圖謀不軌，因為有幾封信上有「無令上知此一帖」。皇帝對這些紛亂如麻的事早已厭惡，而今在這些信上的發現，真使皇帝對王安石第一次發了脾氣。王安石痛罵自己的兒子，不該背著他胡亂攻擊呂惠卿。他兒子顯然不知道呂惠卿手中藏有這些信，並且握有他父親的把柄，深悔自己行動魯莽。受父親斥責之後又心中憋氣，立刻病倒，不久背上生出了惡瘡。王安石一向信佛。他請和尚誦經，請醫生開藥，但均無法救兒子一命。兒子王雱之死，是對老相國的一個嚴重的打擊。這位相國對政治與人生的虛幻，大徹大悟了，他感覺厭倦，呈請辭官歸隱。皇帝允許他在熙寧九年（1076年）十月辭去職務，但仍保有若干最高爵位，王安石並非遭受罷黜。數年之後，有人在金陵附近的鄉間，看見他騎著驢，嘴裡喃喃自語，聽不清說些什麼。