黃庭堅、秦觀、晁補之、張耒四人都在京中任職，敬慕蘇軾文名，常與之伴遊請教，人稱「蘇門四學士」。四人中，又以黃庭堅最長，常由他帶領著眾人到蘇軾百家巷中去拜訪「二蘇」。蘇軾每見他們四人前來，必定大為高興，烹茶相待，然後海闊天空地談論書史，切磋詩文。黃庭堅詩歌瘦硬奇崛，秦觀歌詞婉轉柔媚，晁補之樂府俊逸蕭散，張耒古文汪洋淡泊。四人各具情態，與蘇軾文風詩風詞風迥然不同，但這並不妨礙他們之間交遊的情誼。
這日黃庭堅又拉著三人來拜訪蘇軾，巢谷笑道：「四學士前來，自有密雲清茶相待！其他客人來了，可就喝不上了。」黃庭堅問：「那拿什麼招待他們呢？」巢谷說：「大魚、大肉、美酒、美女。」眾人不解。蘇轍笑道：「諸位有所不知。官場人物來了，盡談俗事，家兄懶得飲茶高談，只能以大魚大肉招待了。」四人都笑起來。
晁補之拱手對蘇軾說：「我為先生講一件事情。文潛兄的誄文已經名震京師了，很多達官貴人出高價為自己謝世的父母寫誄文，但文潛不為所動，自甘淡泊，頗有顏回之風。新任御史楊畏找上門去，要出二百兩銀子為其父親求文，文潛都沒答應。」蘇軾高興地說：「哦？有這等事？文潛氣節非凡哪！」張耒豎起眉頭說：「楊畏乃奸佞小人，節操敗壞，斷不可寫！」蘇軾說：「好啊！諂媚活人是沒有骨氣，諛墓也非君子之道。看來，文潛在陰陽兩界都堪稱君子啊！」眾人拊掌大笑。張耒說：「全憑先生教誨。」
蘇軾笑著擺擺手說：「我等皆是朋友，蘇某可當不了你們的老師。叫先生嘛，未嘗不可，因為我和子由比你們先生來到世上嘛。」張耒笑道：「先生啊，學生有一事不明，這『先生』的叫法起源於何時呢？」黃庭堅笑道：「這有何難，大約從孔子之時就有此稱。然載以文字，則由賈誼《吊屈原賦》而起。其賦曰：『造托湘流兮，敬吊先生。』足見，『先生』之稱謂，漢初已興也。」秦觀搖頭笑道：「魯直兄，不然。君不聞，三家分晉，文侯謂李克曰：『先生臨事勿讓。』足見春秋已有此稱謂也。」黃庭堅不同意，摸著美髯笑說：「此為漢史相記，不足為證。」晁補之看三位爭執已畢，方才慢悠悠地說：「《戰國策.馮諼客孟嘗君》一文中有載，孟嘗君云：『文倦於事，開罪于先生。先生不羞，乃有意欲為收責於薜乎？』當此能證吧？」
巢谷見四學士博聞強識，很是驚歎，但他們各執一詞，似乎又各有道理，不分高下，便轉頭去看蘇軾。四學士也一齊望著蘇軾，希望他來出面釋疑。蘇軾啜口茶笑道：「其實，春秋即有『先生』一說，君不見《德充符》經有云：『申徒嘉曰：先生之門，固有執政焉如此哉？今子之所取大者，先生也。』大抵是孔子以後才興此稱。」眾人大笑歎服。
蘇軾接著說：「王晉卿昨日派人送帖子來，說要在西園宴飲會客，遍邀京中好友。聽說米元章也漫遊回京，我們正好前去相見，諸位也一同前去吧！」黃庭堅笑道：「晉卿雅慕風流，這次群賢畢至，一定熱鬧非凡。諸君且醞釀文思，斟酌辭章，到時可要才情俱現啊！」秦觀笑道：「魯直兄已按捺不住了，今番可要比試一回。」蘇軾大笑，領著眾人往西園而去。
文人雅集，自是風流盛事。漢朝梁孝王會枚乘、司馬相如於兔園，西晉石崇會潘岳、陸機、陸雲等於金谷園，東晉王羲之會謝安、孫綽等於蘭亭，都是名垂後世的著名文人集會。儘管台榭池館盡作丘墟，風流人物也歸塵土，但他們留下的詩文卻長存於天地之間。駙馬都尉王詵，風流蘊藉有王謝遺風，工書善畫，又豪爽慷慨，最樂意結交文士，常在自家西園別墅張羅筵席，邀請好友前來，流連詩酒，切磋書畫，游賞談謔不倦。此次邀集，除蘇軾兄弟、「蘇門四學士」外，還有「龍眠居士」——李公麟、「米癲」——米芾、王鞏、蔡肇、王欽臣、圓通大師、道士陳碧虛等十六人。可謂群賢畢至，少長咸集。
蘇軾與四學士到了西園，只見一片竹林將苑囿與府第隔開，繞過竹林，湖山亭台現於眼前，恍如隔絕人世。池邊栽種各色花木，鳥聲幽寂，鶴舞輕盈。幾株蒼松老檜下，已擺好几案，陳列幾碟精緻的果餚點心，當然也少不了美酒。另幾個書案上已備好筆墨紙硯，王詵已俯身作畫了，旁邊侍立幾個僕人，手捧香爐，靜靜觀看。王鞏帶著盼盼、英英、卿卿先到了。王鞏倚在松根上飲酒，醺然微醉，盼盼彈琴，英英、卿卿奏琵琶相和，緩歌淺唱。清風拂來，松枝搖曳，池泛綠波，似乎把人的精神也洗濯得纖塵不染。
蘇軾頭戴烏帽，一襲道服，大笑著走進來道：「定國兄好雅致！飲酒聽曲，醉臥松下，真個是山間隱者！」王鞏並不搭話，只微微一笑，舉著酒杯細細品嚐，也不知是酒美還是曲美，還是這西園的雅致讓人陶醉。王詵見眾人來到，扔下畫筆，笑呵呵地過來迎接，請眾人到几案間小酌相敘。李公麟、米芾等人也陸續前來，眾人飲酒閒談，或作畫，或寫字，或吹笛，或觀書，不時謔笑逗趣，謅幾句詩來引大家評論。
李公麟善畫人物鞍馬，已先成了一幅《博彩圖》，畫的是眾人呼盧賭博，那骰子還在骨碌碌地轉著。幾個人盯著骰子，或張嘴，或閉目，或攥拳大叫，或倚桌細看，真是栩栩如生。眾人讚歎不絕，蘇軾打趣道：「龍眠何以講起閩南話了？」李公麟是廬江人，並不曾去過閩南，不曉蘇軾此意。蘇軾指著畫中那個張嘴呼喊的賭徒說：「你看，這張博彩圖中的骰子是六點，分明幾個賭徒是在喊六，唯有閩南人喊六才叫漏，故爾嘴唇呈圓形。」黃庭堅半信半疑，指著畫問李公麟：「果真畫的是閩南人嗎？」李公麟大笑：「子瞻慧眼，所鑒不差。」黃庭堅與張耒都歎服不已。蘇軾自走到另一張几案前，揮筆畫起竹石圖來。
米芾依然一身唐裝，飄然若神。他鎖眉細看湖邊的假山怪石，遊走其間，口中喃喃自語，又飛奔到案前，執筆蘸墨，迅疾草書。寫畢忽然狂笑一聲：「『二王』死矣！」蘇轍滿心奇怪，走過來拿起那副字細看，說道：「元章之字，走筆游龍，師承『二王』，而不見『二王』之痕，頗得書中精髓。」晁補之也笑道：「莫不是剛才凝神觀察怪石紋理，以此得到書法之精要？」米芾點頭，又拿著字幅走到蘇軾跟前說：「請大先生指點一二。」蘇軾端詳片刻，認真地說：「元章之書已邁入大家之門，可成我大宋一家。」米芾聽了，喜不自勝，狂態可掬。
張耒問蘇軾：「先生，元章的字與魯直兄的字相比，二者優長几何？」黃庭堅正搖著蕉葉扇子觀看王詵作畫，聽到說自己的字，忙湊過來細聽。蘇軾悠悠地說：「魯直的字長於氣勢，元章的字長於墨韻。」黃庭堅聽了，有些不服氣，說：「不才的字不僅有江河傾瀉之勢，亦有松竹之韻。」米芾聽了，大為不悅，也不加掩飾，脫口說道：「魯直兄，你的字雖有氣勢韻味，但也有失呆板，喏，就像這枯枝。」說著便撿起一截松枝舉起示意給眾人看。原來黃庭堅不但詩文精妙，書法亦是大家。他的字如同其詩，瘦硬奇崛，點畫落筆，如斬金截鐵，骨力非凡，又如老樹枯籐，盤曲穩健。眾人看著米芾手裡的松枝，都哈哈大笑。
在一旁醉醺醺的王鞏這時可沒閒著，他拉著秦觀一起臥倒在松根石下，擎著酒杯細細聽他三位夫人彈琴唱歌。盼盼琴聲悠遠纏綿，餘韻不絕，英英和卿卿清歌相和，令秦觀不飲酒已然陶醉了。王鞏說：「少游，何不即興作詞一首，助此雅興？」盼盼笑道：「只怕他心裡早已作好了。」秦觀高興地說：「在下獻醜了。已吟成一闋《臨江仙》：為愛西園香滿竹，今朝來扣朱門。牆頭遙見簇紅雲。雅集松樹下，迷醉對瑤琴。名士風流駙馬府，一時才子佳人。此情此景九天聞。悠悠指上曲，永是一年春。」英英倚聲唱了幾遍，王鞏高興不已，拉著秦觀敬酒不迭。
這時王詵伏案而作的山水畫已經完成，眾人湊過來看，是一幅《淡墨山水圖》。王詵頗有些自矜地笑道：「如何？可得畫中三昧嗎？」李公麟是品畫行家，拈鬚點頭稱許道：「駙馬師法李成，平林渺漠，煙雲蕭散，得其神髓矣！」李成是五代宋初著名的山水畫家，愛寫平遠煙林之景，與關仝的凝重峭拔、范寬的雄奇老健並譽為「三家鼎峙」。王詵精研李成的筆法多年，家中也收藏多幅真跡，現已至爐火純青之境。他聽了李公麟的讚許，自然喜不自勝。蘇軾笑道：「我倒欣賞晉卿的淡墨平遠小景。晉卿啊，這些年被貶在外，你的畫多了幾分朦朧和靈動之氣啊。」王詵滿意地說：「人生之貶，助我山水進境，也算是一件樂事！不過比起子瞻兄的枯木竹石，那還是少了一點精神啊！」
蘇軾展開剛畫好的《枯木竹石圖》，眾人過來賞鑒，都嘖嘖稱讚。王詵指著畫中的枯木說：「諸位請看，子瞻兄的枯木，總有一種爆裂凍土，石破天驚的感覺，巨石壓不住，硬生生地鑽拔出來，崛強崢嶸。這幅《枯木竹石圖》，雖無一葉，可總覺得枯枝不死，生機內蘊。」米芾驚歎地拍手道：「好個『枯枝不死』，點評得妙啊！」李公麟也說：「這正是子瞻兄文人畫的精髓所在。子瞻兄可否為我等講解一番？」
蘇軾笑道：「蘇某給大家講個故事。蘇某有個同鄉叫任達。他曾經告訴我，有戶人家用磚砌了一個一丈見方的水池，放養了數百條魚。三十多年過後，在一晴朗之日，池中忽發雷聲，如風雨驟至，這些魚頓時乘旋風上九天而去。」眾人驚訝不已，忙問其中緣由。蘇軾說：「這些魚圈局三十餘年，日有騰拔歸海之意，精神不衰，未嘗一日懈怠，久而自達，理固有然。」王詵驚歎道：「有理有理！愈壓愈彈，愈挫愈奮，精神厚積薄發，乃大人格也！」李公麟打趣道：「越說越玄乎了！」蘇軾笑道：「龍眠兄最善畫馬，『龍眠胸中有千駟，不唯畫肉兼畫骨』，就是抓住了馬的精神。可你身在畫院，為富貴閒人畫馬，那馬的精神就衰憊了。此中道理是一樣的。」李公麟歪著腦袋說：「富貴閒人才有閒心賞畫嘛！」蘇軾笑道：「馬良若地下有知，聽君此話，必哭於閻羅殿。」眾人都揶揄李公麟，他也不以為意，鎮定自若。
米芾掏出一隻錦囊，雙手摩挲良久，又小心翼翼地放入懷中。晁補之眼尖，立即打趣道：「元章兄，又收藏了什麼寶物，竟如此珍惜？」眾人都知道米芾愛石成癡，都猜他一定是得到什麼奇石了。米芾狡黠地笑道：「非也。是一塊稀世之硯。」說著小心地從懷裡掏出來，擎在手裡讓眾人觀看，得意地說：「這塊硯，據我考證，當是『書聖』王羲之所用之硯。」晁補之佯裝不信，就要搶在手裡細看。米芾連忙捂在懷裡，再不肯拿出來，嘴裡嘟囔著：「信不信由你，書聖之硯豈同他物？」蘇轍笑著勸解：「元章賞鑒金石，獨具慧眼。」晁補之說：「二先生，別聽他瞎吹，大先生也是鑒賞大家，他認可，我即認可。」米芾不服氣地說：「若子瞻兄所言不差，又當如何？」晁補之笑道：「我自當為兄深鞠一躬。」
米芾這才小心地拿出錦囊，輕輕地交給蘇軾。蘇軾從錦囊裡拿出一塊巴掌大小的紅泥硯來，捧在手裡，上下觀看，點點頭說：「元章所言不差。此硯乃『書聖』專寫小楷之硯。有春夏不幹，嚴冬不冰之神奇。」蘇軾也是品硯名家。據說他還在老家眉州讀書的時候，在後院掘出一塊石頭，紋理細膩，潮潤無比，敲一敲還清脆有餘音，他就將石頭琢成一方硯台，帶在身邊形影不離。米芾得了蘇軾的品鑒，自然得意無比。蘇軾把硯台還給米芾說：「元章，此硯的確是珍品，好好保存吧。對了，你是如何得到的？」米芾收好錦囊，這才慢條斯理地說：「我行舟江上，見同船的人有此硯。為得此硯，學生用了吳道子的兩幅畫，王獻之的一幅真跡與那人交換。即使這樣，對方也不換。我急得欲跳江，對方才動了惻隱之心。」
晁補之笑道：「這麼說來，這硯台比你夫人還要寶貴了？」米芾說：「天下好女人有的是，但這樣的硯台只有一塊。別忘了，你該給我深施一禮。」晁補之笑道：「好個『米癲』！」無奈還是乖乖地深深鞠了一躬。米芾有些得意，晁補之神秘地笑著說：「我有法子讓你自動把這方硯台送給我。」米芾固執地說：「人在硯在，除非你把我殺了。」眾人見他們拌嘴，知道會有好戲上場，都哈哈大笑。
書畫品鑒完畢，眾人又回到几案旁飲酒休憩。盼盼抱了琴，走來向蘇軾說道：「小女子久聞蜀派古琴的大名。蜀派琴人，古有司馬相如、揚雄、李白，今人則以先生為重，況先生曾為陶淵明的《歸去來兮辭》譜曲，蜚聲四海，今日機緣大好，不知先生可否撫上一曲？」
蘇軾在黃州時曾別譜《歸去來兮辭》新曲，於田間地頭耕作時與農人唱之，現在已經流傳士林間，成為一段佳話了。蘇軾微微吃驚地說：「許久未撫，只怕手生了。」眾人被盼盼這麼一攛掇，都按捺不住了，忙勸蘇軾彈奏一曲。蘇軾頷首默許，讓僕人端水過來，將手洗淨，又叫人點起一爐香，坐在松蔭下，彈奏起來。
眾人都乘著薄醉，聽裊裊的琴音在耳際迴盪。那曲調悠揚、歡欣，正像內心一味自足，不帶半點競逐的意念。蘇軾一揉一捻之間，情緒便一層層蕩漾，飄飄地彷彿置身於桃源勝地，再也不願折返了。兩隻白鶴也扇動著翅膀，在湖邊翩翩起舞，引頸長唳。整個西園都為之沉醉了。
此刻蘇軾心裡，想到了黃州的躬耕生活，想到了鄰舍老農淳厚的笑語。他真想掛冠歸去，直到江海的另一頭。與家人守著豆棚瓜架，每日看著斜日西沉，素月東上。端著一杯濁酒，與弟弟同唱《歸去來兮辭》……
天色向晚，眾人都盡興散去，改約再聚。晁補之神秘地笑著對米芾說：「元章兄，三日後我到府上取硯，等我的消息。」眾人都驚疑不已，米芾橫眉而去。
三日內無事，蘇軾正在家裡讀書，忽然巢谷慌慌張張地跑進來說：「子瞻，不好了！剛才元章家的書僮來告知，說他們家主人已經三天沒回家了，到處找不到人！」蘇軾微笑道：「找到晁無咎，自然就找到元章了。」
蘇軾和巢谷騎著馬去找晁補之，問明緣由。晁補之哈哈大笑：「真是個『米癲』！想必還在那裡呢！你們跟我來吧。」晁無咎也騎了匹快馬，領著蘇軾二人穿過京城，一直走到東郊汴河的岸邊。河岸一帶遍植垂柳，柳綿輕拂，遠遠地見一個人對著河邊一塊大石頭鞠躬膜拜。蘇軾笑道：「那不是元章還會是誰？」
三人走到近前，米芾仍未察覺，繞著石頭喃喃自語，還不時摩挲著石山，凝神冥思。蘇軾喊了一聲，米芾才回過神來，大叫道：「子瞻兄快看這石頭！天地間不知幾百萬年，才有此造化呀！」又對著石頭說：「你從哪裡來呢？三天三夜，元章才悟出你的造化之理，吾知先生乃靈根是也。」巢谷見他對著石頭唸唸叨叨，知道是癡病又犯了，正要上前去勸他。蘇軾攔住他，下馬來仔細看那石山。石山高二丈，寬約三尺，玲瓏剔透，甚為奇特。敲一敲石身，還有「咚咚」聲迴響。蘇軾也是懂石之人，歎道：「如此奇石，甚為少有！」米芾歡喜道：「還是子瞻懂石，如此寶物，我為它守了三天三夜了！」
雖然找到了米芾，但巢谷還是沒明白為什麼米芾會三天三夜不回家而專門守著石頭，也不明白晁補之怎麼會帶他們到此。晁補之對蘇軾說：「記得上次西園雅集之時，我對元章說三日內去取他的寶硯嗎？」蘇軾笑道：「我一早就猜到了！要不然也不會去找你。你就是拿這石山跟他換硯？」晁補之神秘地笑道：「正是正是！我前不久乘船由汴河外出，聽船家說此處浚河時挖出一座怪石山，丟棄在河岸上，沒人賞識，也沒人搬得走。我看這石山造型奇特，材質非凡，知道元章兄若見了必定會驚喜異常。因此在西園敢誇口三日內取他寶硯。」蘇軾指著他大笑：「好你個晁無咎！元章的脾氣被你摸透了！」
米芾回頭笑道：「算他贏了我，就拿寶硯換寶石，我也算值了。這造化靈根，到哪裡才能找得到啊！」巢谷不解地問：「這塊巨石到底有何神奇，子瞻兄說說看。」米芾搶過話頭說：「這塊棄石絕非尋常之石。首先，它的造型具備了奇、怪、巧、樸、華五者和諧之完美，有日月之孔，有北斗之位，下有山河之紋，人獸之形，而內則中空。」
蘇軾點點頭說：「這石古之名曰『八卦石』，星相家曰『測天柱』。它可報氣候陰晴，正月十五日夜，全年能降幾成雨，這塊石頭就會顯示幾成。春、夏、秋三季之雨，可早於三日即能看出，石越濕，雨越大。凡有和風，其必有和聲。天將大旱，日孔必現裂紋。風調雨順，日月二孔尺寸相等。過陰，則月孔張；過陽，則日孔張。」
巢谷驚訝讚歎不已。米芾拱手道：「先生不愧為元章之師。」晁無咎佩服地問：「先生從何處得知此石？」蘇軾說：「從雜記中知。天下有『五嶽』，亦有五塊這樣的奇石，分別以『五嶽』之名命之。東曰『岱石』，西曰『華石』，南曰『衡石』，北曰『恆石』，中曰『嵩石』。這塊石應叫『嵩石』。淪沒於此，得見元章，也是造化了。」
米芾哈哈大笑，又去摩挲石頭不肯放手。巢谷問道：「可是這麼大的石山，怎麼拿它跟元章的寶硯交換呢？」米芾正為這事煩惱：「是啊！這麼大的石山，陸路運送甚為艱難，要保證它完好無損就更難了。人力物力，花費必然不少。無咎你真要與我換寶硯？我怕你破費啊！」晁無咎笑道：「這個無須擔心。我保證將它完好無損地送到你家裡。」米芾將信將疑。蘇軾笑道：「無咎定有妙法。元章還是早點回家，免得家人擔心。」
米芾這才放心，準備跟著蘇軾回去，走幾步又回頭，心中十分不捨：「不行不行，我得在這石頭上留下米某的名號，別讓人家佔了去。」巢谷笑道：「放心吧，就算送到人家家裡，人家還不會要呢。」晁無咎說：「不如你拿筆提上三個字『米芾石』，那天下人都知道這塊石頭已經有主了。」米芾說：「寶硯倒是在我身上，可我沒有帶筆啊！」晁補之神秘地笑道：「我帶了筆啊，快借寶硯一用。」說著掏出毛筆，蘇軾對著晁無咎笑了笑。
米芾掏出硯台，不情願地遞給晁無咎。可是硯中無水，沒法磨墨，晁無咎又嫌河水太遠，取水麻煩，就吐了口唾沫到硯台裡，磨起墨來。米芾驚叫一聲，幾欲嘔吐，連連歎息道：「可惜了！可惜了！如此寶硯，竟被你口水所污！」晁補之不以為然地說：「這有什麼？你嫌髒不要了？」米芾是出了名的有潔癖，欲要發怒，但為了石山又忍住說：「處子被奸，雖仍是女人，但再也不是處子了。寶物講究一個潔字，一旦被污，分文不值。你拿去吧。」