蘇東坡此後一年零八個月的命運足以表示官身不由己。讀書人能用別的方法謀生，最好不要做官，他的遭遇便是充分的理由。蘇東坡當前的道路真是崎嶇坎坷、瞬息萬變，一直到他人生的末日，不是出乎他的本意，卻與皇后大有關係。皇帝有意使他掌史館，卻被左右所阻。皇帝最後親書一道旨意，把蘇東坡的謫居地由黃州調到汝州（今臨汝），汝州離京師較近，生活亦較為舒適。他聽到這個消息，是在神宗元豐七年（1084年）三月初。
他當然躲避這個任命，按他自己的話，這猶如「小兒遷延避學」。人做官不外乎為名為利，或為權勢，或為報效國家。我們知道蘇東坡非以做官為發財致富之道，至於權勢，他根本不願控制別人。有些人身上有一種天性，他本已有錢有名，但想攢入政治圈兒去，只為了去支配別人。初嘗權利的滋味，還頗覺味美，但除少數例外不提，二度競選總統的人，不是不知「何以利吾身」，大概就是身不由己。他去再度競選，因為他所屬的政黨要他去競選。若說報效國家，於理欠通，因為反對派裡不是也有人如此呼喊嗎？至於為名，蘇東坡知道，即便是身為宰相，也不能在他不朽的文名上有絲毫增減。他又何求於政治？他又能有何成就？
在三月初三，他還胸懷坦蕩，與朋友暢遊甚樂，在定惠院後面商家花園逍遙終日，酒宴之後，他還在一個小樓上酣睡一覺。醒後，漫步踱出東門，在東門看見商店一個大木盆，買下來，預備存水澆瓜。然後沿著一條小溪，進入何氏花園。何家正在房旁添蓋廂房，請他稍留，在竹林中喝幾盅。一個朋友端出一盤糕，東坡巧予命名為「何甚酥」。大家都喝酒，只有參寥和尚只喝棗湯。蘇東坡忽然急想回家。他看見何氏園有橘子樹，他要了幾棵樹苗，要回去種在雪堂的西畔。
兩三天之後，消息到來，要把他改調他處。雖然名義上他還是在貶謫中，可是能自由住在一個美麗而富有的城市了。有數天的工夫他猶疑不決，是否應當奏請繼續住在黃州。後來又一想，這道新任命是皇帝的一份好意，他終於決定遵奉聖命，放棄東坡的農舍。他數年的辛勤，棄於一旦，也許他還要在別的地方，重新創建一個農舍，一切要從頭做起呢。
可是，甚至在他這樣困難情況之下，調職之後，他的政敵還不肯把他放鬆。當時一個作家記了下面一個故事：蘇東坡給皇帝上了謝表，皇帝向四週一看，告訴群臣道：「蘇軾真是天才。」
他的政敵甚至想在他一篇例行公事的謝表裡找他的毛病。政敵說：「臣以為他在謝表裡還是口出怨言。」
皇帝感到意外，問道：「怎見得？」
「在這謝表上，他說他和他弟弟考過殿試，卻用『驚魂甫定，夢遊縲紲之中』，他不是說他們以坦白批評朝政的策論考中，但是現在卻以批評朝政而受懲處嗎？他是不甘心認錯，還是委過與人呢？」
皇帝泰然道：「我很瞭解他，他心裡是好意。」
小人因此才閉口無言。
蘇東坡準備搬家，也費了幾十天工夫。他決定先到高安看弟弟子由，留下孝順的長子邁帶領家眷，在他從子由處回來時，大家在九江碰頭。
現在官方紛紛為他設宴餞行，很多朋友請他題字留念，這個，他當然提筆沾墨一揮而就。很快就應酬完畢。就在這時，歌伎李琪也收到他贈的一首詩，使她得以名垂後世。在鄰人和朋友為他送行的宴席上，他寫了下列的一首詞：
歸去來兮，吾歸何處……人生底事，來往如梭。待閒看秋風，洛水清波，好在堂前細柳，應念我莫剪柔柯。仍傳語江南父老，時與曬魚蓑。
一大群人送他起程。那群人裡有士紳、有窮人、有各色人等。我們知道名字的那些鄰居朋友，一直把他送到船上的，計有十九人。路兩旁也有他的朋友、陌生人、農人，也有感激他的窮父母，懷裡抱著孩子，那孩子的命就是這位行將離去的文人搭救的。那十九個送他的人一直送到慈湖，在蘇東坡最後離去之前，大家又一齊消磨了幾天。
但是另外有三個朋友，一直陪他到九江。一個是老朋友陳慥。另外一個是和尚參寥，他和蘇東坡是在徐州認識的，後來在黃州突然出現，和他住了大概一年。在中國古代，沒有人像出家人遊蹤之廣的，不但因他們完全空閒行動自由，也因為他們走到何處都有他們的旅館住，那就是有他們的寺院。參寥決定到九江廬山去住。
第三個朋友是道士喬仝，他現在大約有一百三十歲。據傳說，後來他又從墳裡復活。到了九江，蘇東坡離開了他本要走的路途，又走了陸路一百多里，為了把這位老道士交給他在興國的一個朋友照顧。喬仝喜愛鳥獸，永遠帶著他養的鳥獸一同旅行。據子由說，最後此老人是被騾子踢傷而死的。又過了幾年之後，一個和尚告訴子由，說最近在某處遇見另一個和尚，那個和尚說他自己是喬仝，並且說在黃州結識了蘇東坡。子由打聽那個和尚的樣子，說此話的和尚所描寫的和那個老道士完全一樣。在聽這個故事的那些人之間，有一個是興國太守的兒子，他回家把此事告訴了他父親。為了要證實喬仝的死而復生，那位太守下令重開喬仝的墳，只發現了一根手杖和兩塊脛骨。屍體不見了。
蘇東坡和參寥一同游廬山數日。在數百和尚之中曾引起極大的轟動，因為消息已在他們中間傳開，大家都說：「蘇東坡來了！」雖然蘇東坡只寫了三首游廬山詩，其中，一首成了描寫廬山最好的詩。
東坡去看弟弟子由時，三個侄子迎接他，他們是走出八里地前去迎接的。兄弟們已經四年沒見，子由肥胖了些。他看來並不健康，因為他夜裡費好多時間練瑜伽術。監酒官的辦公室就在一所小破房子裡，既漏風漏雨又搖搖欲墜，俯首便是江邊。據子由說：「舊以三吏共事，余至，其二人者適皆罷去，事委於一。晝則坐市區鬻鹽沽酒，稅豚魚，與市人爭尋尺以自效。夜歸筋力疲廢，輒昏然就睡，不知夜之既旦。旦則復出營職。」
蘇東坡在那兒住了六七天，然後順流而下到九江，好與家屬相會。和家屬一同順長江下行，七月到南京。在南京，朝雲生的兒子，才十個月大，患病而死。這對父母是個極大的打擊，尤其是對年輕的母親。蘇東坡在一首記孩子死的詩裡，他說孩子的母親終日在床上躺著，精神恍惚，東坡雖然能擦乾自己的眼淚，但聽見朝雲哭，實在難過。東坡有「我淚猶可拭，母哭不可聞」的詩句。朝雲沒有再生第二個孩子。
在南京時，蘇東坡去看王安石，王安石已經是疲憊頹唐的老人。蘇東坡和他討論詩與佛學多日，因為二人都是大詩人並深信佛學，自然有好多話說。有一個故事流傳，說蘇東坡一次按固定的韻腳和題目和王安石作詩，勝過了王安石，王安石便中途作罷。二人談話時，蘇東坡直言責備王安石不該引發戰事，不應該迫害讀書人。
蘇東坡說：「我有話要跟你說。」
王安石立刻臉上變色道：「你要提起往事？」
蘇東坡說：「我要說的是國事。」
王安石才鎮靜了一點兒說：「說吧。」
蘇東坡說：「漢唐亡於黨禍與戰事，我朝過去極力避免此等危機。但是現在卻在西北兵連禍結，很多書生都被送往東南。你為何不阻止？」
王安石伸出二指向東坡說：「這兩件事是由惠卿發動。我今已退休，無權干涉。」
蘇東坡說：「不錯，不在其位，不謀其政。不過皇上待你以非常之禮，你也應當以非常之禮事君才是。」
王安石有點煩躁起來，回答說：「當然，當然。今天的話，出在安石口，入在子瞻耳。」他意思是二人所言，切勿傳出此屋，因為他曾一度為呂惠卿所賣，所以如此小心。
二人漫談下去，王安石有點兒前言不搭後語。他說：「『行一不義，殺一不辜，得天下弗焉。』人非如此不可。」
東坡說：「今之君子，爭減半年『磨勘』，便不惜殺人。」
王安石笑而不語。
根據好多當代人的記錄，在這一段期間，可以常看見王安石在鄉間獨自騎驢閒行，「喃喃自語，有如狂人」。他有時想到當年已經背棄他的老友，便突然拿起筆來，面色凝重，立刻開始寫一封信。但是片刻之後，他又把筆放下，好像也頗以自己為恥，這些信沒寫完，就永遠擺在那裡了。他仍然繼續寫日記，他死後幾年，奉命把所有的日記交還朝廷，因為其中有當權派的內幕。在他失意的晚年，變得內心淒苦抑鬱，對人非常懷恨，對皇上也常是惡語相加。幸而當時當權者還是他一派。但是他的日記竟寫了七十多本，很多人見過。前幾年，他聽說司馬光又已當權，他令侄子把日記燒燬，但是他的日記之所以仍然留在人間，是因為他侄子把日記藏了起來，燒了些別的東西矇混過去。
王安石現在開始看見幻象。一次，他看見他那獨生子，那時早已死去，卻正在陰間受罪。他知道自己的兒子活著時是個壞蛋，無所不為，現在在陰間戴著鐵鏈手銬。後來，他家一個侍衛說在夢裡也看見同樣的情景，王安石著實害怕起來。為救兒子免於陰曹的折磨，他把上元縣的財產賣出去，把錢捐給寺院。王安石曾向朝廷奏明捐款與寺院一事，朝廷因此賜予那個寺院一個名字，同時王安石上朝廷關於此事的表章而今還在。他死的前一天，在野外騎驢獨行，他看見一個農婦向他走近，跪在他面前，向他呈遞一份訴狀，然後消失不見。他記得把訴狀放在衣袋裡，到家一看，那份訴狀也不見了。他第二天因驚嚇去世。
等蘇東坡到了土地肥沃的江蘇地帶，他不覺迷戀上當地的氣氛和自然之美。在往返於南京和靖江之間時，他心中忙著盤算在太湖地區買一個農莊。他的情形是這樣：皇帝既然願把他從黃州調到另一個地方，日後也會聽從勸說而准許他在別處安居。不論他往何處去，總是存心找個老年退隱之地。他的不少好友出的主意都不相同。他的方外友人佛印勸他安居在揚州，因為佛印的農莊在揚州。范鎮願他到許下，二人為鄰。東坡自己看中了丹徒縣蒜山的一片松林。不過這些計劃都落了空。長江以北靠近南京有個儀真縣，儀真的太守約他前往居住，他雖然沒有決心在儀真安居，至少想找個地方暫時安頓眷屬。所以家眷暫時住在儀真學校中時，東坡總算沒有牽掛，得以各處走走逛逛，尋找一個鄉鎮的家園。
最後，幾個最親密的朋友之中，有一個滕元發，勸他安居在常州的太湖左岸宜興，滕元發那時正任太湖南岸的湖州太守。蘇東坡和滕元發二人暗中訂了一項計劃，在宜興買了一塊田地，然後奏請皇上允許他在宜興安居，因為那塊田地是他唯一的生活之所出。滕元發的一個親戚能找到一塊地，在宜興城二十里外，深在山中。那塊地很不小，一年可產米八百擔，會使蘇家生活得蠻舒服。蘇東坡當時只剩下幾百緡錢，此外只有父親以前在京都買的一棟房子，但是早已托范鎮以八百緡錢賣出去。
九月，他獨自下鄉去看那塊田莊。他曾記此事說：「吾來陽羨（宜興），船入荊溪，意思豁然，如愜平生之欲。誓將歸老，殆是前緣。吾性好種植，能手自接果木，尤好栽橘。陽羨在洞庭上，柑橘栽至易，得當買一小園種柑橘三百。元豐七年十月二日於舟中。」後來他又另買了一塊地，是從官家買的，後來曾為此地涉訟將近百年之後，曾有一作者記載蘇東坡的重孫子仍住在宜興那塊農莊上。
蘇東坡現在總算辦了一件事，到底是極其愚蠢，還是寬宏厚道，看法也就因人而異了。他給滕元發寫信，說他要在荊溪上找一棟房子，他真找到了。他和友人邵民瞻去找，結果找到一棟很好的老宅子，他付了五百緡錢。這就用光了他所有的錢，但是蘇東坡很高興，心裡盤算回去把家眷接來住進去。一天晚上，他在月光之下和邵民瞻在村中漫步，經過一家時，聽見裡面有女人哭泣聲。他兩人叩門走進去。一老婦正在屋角里哭。一問緣故，老婦人說：
「我有一棟房子，一百多年來一直是我們的財產。我有個敗家兒子，把那房子賣給了別人。今天我不得不從那棟老房子裡搬出來，我在那老房子裡已經住了一輩子——這就是我為什麼哭的緣故。」
蘇東坡很受感動，又問她：「那棟房子在哪兒？」
蘇東坡大驚，原來那正是他用五百緡錢買的那棟房子。他把契約從衣袋裡拿出來，在老婦人面前一把火燒了。第二天他把那個兒子找來，告訴他再把老母請回舊宅去，並沒有再討回付的房錢。那個兒子到底是已經用那筆錢還了債，還是另有別的原因無力付還，我們就不得而知了。蘇東坡於是回到城中，既沒了房子，又損失了五百緡錢。但是當時東坡一時為真情所感，無法抑制，竟對自己家的後果不管不顧！事情做得美則美矣——還有什麼別的好說！
回到常州之後，在十月裡，他給皇帝上疏，請聖命諭允居住於常州。在皇帝應允之前，他還是要去接新的任命，遠在國都的西部，大約有五百里的旅程。他攜帶著全家往都城方向前行，慢慢行進，盼望如幸蒙聖命恩准，就不致花費往返兩次旅費了。但是迄未獲得恩准的消息，他勉強前行，到達京都。我們若相信他的詩上所說，他的眷屬真是忍饑挨餓了。到了泗州的淮河邊，他給朋友至少寫了三首詩都提到飢餓。在一首詩裡，他自比為夜裡啃嚙東西的饑鼠。在太守送食物到船上時，孩子們歡聲雷動。看情形他們不能再前進了，他決定再給皇帝上表章，這時住在南都老友張方平家，靜候聖旨到來。
他上皇帝第二疏，是二月間在泗州寫的，其中一部分如下：
但以祿廩久空，衣食不繼。累重道遠，不免舟行，自離黃州，風濤驚恐，舉家病重，一子喪亡。今雖已至泗州，而貲用罄竭，去波尚遠，難於陸行，無屋可居，無田可食。二十餘口，不知所歸，饑寒之憂，近在朝夕。與其強顏忍恥，干求於眾人，不若歸命投誠，控告於君父。臣有薄田在常州宜興縣，粗給饘粥。慾望聖慈許於常州居住……
他在旅途上，發生了兩件有趣事，也可說令人難過的事。在泗州他渡河去游了南山之後，寫詩一首。河上有一座長橋，因泗州為軍事要隘，天黑以後此橋上不許行人通過，違犯者重罰。實際上，泗州太守是不理會這條規矩的，他在天黑後和蘇東坡同過此橋。為了慶祝此次遊山之樂，蘇東坡很天真地寫出了下列兩行詩句：
長橋上燈火鬧，
使君還。
太守為人老實正直，是山東省一位學究，姓劉。第二天他一見蘇東坡的詩，心都快跳出來。他到船上去看東坡，說：「我看了你的詩，這很嚴重，太嚴重了！你的詩全國皆知，一定會傳到京都。普通人夜裡過橋是罰兩年勞役，太守犯法，情形更糟。求你把這詩自己收起來，不要給別人看。」
蘇東坡追悔不迭，微笑道：「天哪！我一開口就是兩年的勞役呀！」
他住在張方平家時，出了另一件動人的事情。在主人請他吃飯喝酒時，他認出了張方平兒子的妾，那個女人以前曾做過黃州太守的妾，深得太守鍾愛，名叫勝之。太守當年為蘇東坡好友，不幸亡故，此妾亦即改嫁。蘇東坡一見此女在張家筵席上出現，狀極輕鬆愉快。他頗為感慨，想起老朋友來，兩眼淚痕，喉頭哽咽。這卻逗得勝之發笑，她只得轉過頭去和別人說話岔開。蘇東坡離席時心中很難過。他告訴朋友說人千萬別納妾，就舉勝之為例。
皇帝染病，從三月一日起，太后攝政。三月五日，皇帝駕崩，次日頒下聖旨，允許蘇東坡在太湖邊居住。這對蘇東坡十分重要，因為他已如願已償，他的計劃實現了。一家開始遷回宜興，在四月初三離開南都，到達湖邊新居，是神宗元豐八年五月二十二日。
蘇東坡而今終於相信他會終身在此安居下來。他的詩裡有兩句：「十年歸夢寄西風，此去真為田舍翁。」他要在富有田園之美的江南度其晚年了。他可以乘一葉之扁舟悠然來往，「神遊八極萬緣虛」，真正優哉游哉了。
但是命運偏偏作梗。正當他把退隱之地已物色到，朝廷對他再度任命的消息又來了。在他到宜興後還不到十天，就得到消息：朝廷派他到離山東芝罘不遠的登州去做太守。原先以為是京城傳來的謠言，他拒不肯信，他說京都一向謠言多，並且最近四月十七日的官報上也不曾提過。
蘇東坡心亂如麻，心裡很恨這種變化。幾天之後，正式任命到達。家裡人大喜，孩子們喊叫覺得喜出望外。蘇東坡在一首詩裡，自比為可憐的良馬，盛年已逝，再不貪天山的牧野。在另一首詩裡說：「南遷欲舉力田科，三徑初成樂事多。豈意殘年踏朝市，有如疲馬畏陵坡。」在給佛印的信裡他說：「如入蓬蒿藜藿之徑。」給米芾的信裡說：「某別登卦都，已達青社。衰病之餘，乃始入鬧，憂畏而已。」
可是，他仍然接受了新任命。太后現在把情勢推動起來。司馬光又被任命為門下侍郎，實際上等於副首相之位。任命司馬光的情形很有趣，皇太后是派武裝兵士把他從家中請出，一直「護送」到官衙裡去的。所以用這種方法，是唯恐他接到任命之後會延遲赴任，甚至會辭謝不就，也是不得已而別開生面了。
蘇東坡在六月，到山東沿海去就新職。由青島附近，開始乘船，繞山東半島而行。十月十五到達登州後五天，他又應召進京。全家開始行動起來，將近元豐八年十二月半，到達京都。