王安石最後一次在朝堂上見到宋神宗是哪一天，已無從稽考。那天的氣氛看起來跟往常沒什麼兩樣，王安石便談起對呂嘉問的安排。當時，呂嘉問已經回到京師，參與了王雱他們與呂惠卿的鬥爭，但沒有被追究。於是，王安石便建議任命此人為集賢院學士，皇帝的答覆則是放放再說。[33]
結果，一放就是半個月。
因此這天上朝，王安石便舊話重提。皇帝陛下卻仍然不肯表態，只是回過頭去發呆。所有人都不敢說話，神宗卻又轉過臉來問：聽說相公想辭職，已經很久了？
王安石猝不及防，低頭答道：是。
又說：陛下堅留，不敢馬上就走。
大殿中安靜得能聽見心跳。
皇帝不再說什麼，王安石也很快便離開相位。[34]
此事未被正史採信，因此真偽莫辨。照理說，似乎不該有這樣難堪的場面。畢竟，太祖皇帝留下的祖宗家法，是與士大夫共治天下。因此從太宗到神宗，北宋歷任皇帝對朝中大臣都禮遇有加，政治文明的程度遠遠高於明清兩代。孔子主張的「君使臣以禮」，在宋代應該說得到了實行。[35]
事實上，王安石離職以後的待遇並不低。他在罷相一年多之後的元豐元年（1078）正月被封為舒國公，又過了一年多，改封荊國公，從此人稱「王荊公」。甚至到他病故時，雖然掌權的已是反對派，也仍然被追贈了太傅的頭銜。
宋，是彬彬有禮的。至少，這時還是。
然而客氣禮貌並不等於滿心歡喜，宋神宗對王安石恐怕也早有不滿。責任當然在王安石。眾所周知，此人素有「拗相公」稱號，一根筋認死理，只論事不看人，在皇帝面前也倔頭倔腦，說起話來胡同裡趕豬直來直去，跟他自己的穿衣戴帽一樣不修邊幅，常常弄得皇帝和同僚下不了台。
這樣的案例不勝枚舉。比如熙寧五年到七年討論市易法和免役法，就是皇帝或他人問一句說一句，王安石就頂一句駁一句，簡直問都問不得。說到激動時，不是指控同僚結黨營私破壞改革，便是批評神宗不識好歹不明是非。[36]
如此作風，誰受得了？
所以，神宗第一次罷免王安石，固然有前面說過的種種原因，恐怕也未嘗沒有這樣的考慮：安石呀安石，回到江寧冷靜冷靜，改改你那臭脾氣吧！改了，朕還用你。
可惜，王安石就是不改。
其實復出之後的王安石也非麻木不仁。據說他曾經對親近的人說：現在聖上對我，只從得五分時也得也。可惜江山易改本性難移，他還是依然故我，想說什麼就說什麼，甚至想鬧情緒就鬧情緒，想請病假就請病假。[37]
這在王安石，或許既是出於對主義的堅持，也是出於對神宗的信任。他曾在復出之後兩三個月時說：臣之所以敢於直言，只因為陛下能夠容忍臣下犯顏諫爭。否則，安石就算有十個膽子，又豈敢忘記明哲保身的古訓？不過，陛下修身立德雖然堪比堯舜，是非分明卻不如唐太宗。如果敢直言的不能賞，出問題的不能罰，豈能要求大家都說真話？
聽完這話，宋神宗也笑了。他說：台官只有挨罵挨批和撤職查辦的份，何嘗有過獎賞？現在找個願意幹的都難。
王安石說：不知道唐太宗那會兒，是不是也這樣？[38]
這當然可以傳為美談。可惜好景不長，皇帝陛下的忍耐也有限。最讓他記憶深刻的，應該是熙寧八年十一月。當時宰相韓絳和副宰相呂惠卿都已離職，朝廷急需人手，王安石卻又請病假了。神宗一天十七次派人探望，也不管用。
皇帝只好問個究竟。
王安石的回答，是要狠狠整治那些反對新法的人。
神宗很為難。他說：據反映，民間也叫苦。
王安石說：冬天刮寒風，夏天下暴雨，老百姓不也叫苦連天嗎？有什麼了不起，值得大驚小怪？
神宗說：就不能沒有寒風和暴雨嗎？
王安石不高興，繼續生病。
這一次，神宗又遷就了王安石，只要是他推薦的人都予以重用，王安石的權勢也達到了頂峰。但，這並不等於皇帝心中就沒有陰影，沒有想法，沒有疙瘩。[39]
是啊，這大宋的江山，究竟是誰的？
宋神宗心裡翻江倒海，呂惠卿也來火上澆油。熙寧九年六月，被王雱等人逼得跟王安石徹底翻臉的呂惠卿，在奏折中說了這樣的話：請陛下想想，陛下平時是以什麼人的待遇對待王安石，王安石又是以何等人自許的？三綱五常、君臣大義和政治規矩，難道可以由於他一個人而廢掉嗎？[40]
皇帝很可能心頭一緊。
我們不知道，皇帝此刻是否想到了熙寧五年七月。那時有個名叫郭逢原的小官突發奇想上書朝廷，請求將宋神宗與王安石的禮儀由君臣改為師生，還提出取消樞密院，把權力集中到中書省，以便王安石大權獨攬，令行禁止。
這真不知是哪根神經搭錯。
神宗當時就極為不悅。他對王安石說，這肯定是個輕浮淺薄的傢伙。王安石卻說：人才難得呀！[41]
嗯？什麼意思？皇帝不能不有所警惕。
如果神宗還想起熙寧七年四月，就更會心驚膽寒。當時旱情嚴重朝野不安，自己也食不甘味寢不安眠，王安石卻說什麼水旱常數，不足為慮，絲毫不肯為朕分憂。好吧！你既然是連天命都不畏懼的，想必也不在乎天子。[42]
不用想了，宰相必須換人。
毫無疑問，熙寧九年十月下旬神宗的心理活動，是只有他自己才知道的，這裡說的都是猜測。但，接任的是樞密使吳充和參知政事王珪，卻很能說明問題。事實上，吳充雖然與王安石是兒女親家，對王安石的做派卻不以為然。正史也說得很明確，吳充擔任宰相，是因為中立無私。[43]
至於王珪，更是阿彌陀佛。此人是在王安石第一次拜相的同一天任參知政事的，之前則與王安石和司馬光在翰林院共事。熙寧元年八月，那兩人為一件事爭得不可開交，王珪卻對神宗說，從不同角度看都有道理，唯陛下聖裁。[44]
擔任宰相後，王珪變得更加乖巧，決不多嘴多舌，一切聽從皇帝指揮。他對自己的定位，是上殿叫取聖旨，進殿叫領聖旨，出殿叫已得聖旨，人稱「三旨宰相」。[45]
神宗皇帝很滿意。
這就是鄧綰他們看錯宋神宗的地方了。沒錯，宋神宗和王安石都主張變法，也主張集權。但，王安石是為了變法而集權，宋神宗卻是為了集權而變法。因此，當他實現了集權之後，就不能容忍有人分權。王安石也必須走人，哪怕沒有了王安石的朝廷和歲月變得非常無趣，簡直乏善可陳。
實際上，儘管為了厲行改革，神宗一而再、再而三地將王安石不喜歡的人打發到外地，終使王安石一家獨大，但這絕不是神宗理想的模式，也不是大宋傳統的模式。趙宋官家最喜歡的，是朝中大臣既不鐵板一塊，也不撕破臉皮，總有人發表不同意見，然後由皇帝來終審和仲裁。
這，大約就是所謂「帝王之術」吧！
不過，之前北宋朝廷基本上沒出大亂子，也因為士大夫和皇帝都對這祖宗家法心領神會，小心翼翼維持著方方面面的平衡。這一點，富弼是懂的，但被王安石攪黃了；神宗更是懂的，但被司馬光攪黃了。因為按照神宗的想法，最好是司馬光和王安石同時在朝。哪怕輪流坐莊，也不錯。
問題是，司馬光做了宰相，就一定很好嗎？
也難講。
[33]呂嘉問參與王雱違法亂紀一事見李燾《長編》卷二百七十六熙寧九年六月辛卯日條、畢沅《續資治通鑒》卷七十一熙寧九年十月戊子日條。
[34]見李燾《長編》卷二百七十八熙寧九年十月丙午日條注引（南宋）呂本中《雜說》。
[35]見《論語·八佾》。
[36]以上見李燾《長編》卷二百三十六熙寧五年閏七月丙辰日條、卷二百三十九熙寧五年十月丁亥日條、卷二百四十熙寧五年十一月丁巳日條、卷二百四十二熙寧六年正月辛亥日條、卷二百四十六熙寧六年八月庚寅日條、卷二百五十一熙寧七年三月庚戌日條、癸丑日條及戊午日條。
[37]見李燾《長編》卷二百七十八熙寧九年十月丙午日條注引（南宋）呂本中《雜說》。
[38]見李燾《長編》卷二百六十三熙寧八年閏四月乙巳日條。
[39]見李燾《長編》卷二百七十熙寧八年十一月丙戌日條。
[40]見李燾《長編》卷二百七十六熙寧九年六月辛卯日條。
[41]見李燾《長編》卷二百三十五、畢沅《續資治通鑒》卷六十九熙寧五年七月條。
[42]見李燾《長編》卷二百五十二熙寧七年四月己巳日條、畢沅《續資治通鑒》卷七十熙寧七年四月辛未日條。
[43]見李燾《長編》卷二百七十八熙寧九年十月丙午日條。
[44]見黃以周等《拾補》卷三下熙寧元年八月癸丑日條，司馬光與王安石的爭論見本書第一章第六節。
[45]見李燾《長編》卷三百五十六、畢沅《續資治通鑒》卷七十八元豐八年五月庚戌日條。