李白出蜀的真正原因，一直是個秘密。終其一生，盡有無數胸臆之語可向天下人敞說，略無遮掩；唯獨在突然之間拋棄了一切，仗劍辭鄉，去不復顧，似乎全無根由——那是吳指南從故宅趕了一匹五花馬來的當日，趙蕤於一箭之外影影綽綽看見了，想起七年以前與李客熝牛頭夜話的那回，的確好像見過這馬一回——它原本身色棕紅、鬃色碧綠，蹄色烏黑、額色雪白，體軀肥大，卻彈步輕盈。它應李客的呼嘯而來，片刻飛奔十餘里，佇立著守候李客，還不時流露出頑皮不馴的小駒之性。
於茲七年之後，這馬益見壯碩，鬃毛也變得鬈曲深密，依然背無鞍韉，口無銜轡，性情卻沉著穩適得多。吳指南引馬就路旁隨手一指，那馬也乖順，便於指處站定，偶爾趁風動搖幾下尾巴，別有一份意態自如的從容老練。
吳指南並非無端而來。除了馬，還有一肩行李。他把行李也齊整地堆置於道旁，仔細看了看陰蒙昏灰的天色，指沫風乾，想想一時之間，或恐還不至於落雨，才三步並兩步跑來，呼叫著「神仙」、「李十二」。
很難說李客是由於難題棘手而誠心求助，或者是他想藉機驗看李白究竟能否成材？總之，吳指南帶來了讓李白措手不及的消息——大明寺僧慈元忽然死了。
有一個到處流傳，可是言者人人惶怖不安、寧可信其無的謠言，說慈元是「代死」；其所代者，便是綿州刺史李顒。
李顒自從上表舉薦，而趙蕤、李白師徒「不就」之後，不但不沮喪懊惱，反而鬆了一口氣，省操一份心；自然也愈益敬重這「趙征君」了。根據他自己散存的幾首記事之詩所載，就在李白去來成都、峨眉千里之行的一兩年間，他至少兩度造訪趙蕤，至則「通宵談飲，綴詩不歇，極盡歡噱」。
忽一日，刺史心念偶動，隨手扔下公事，就要微服易馬，前往大匡山找趙蕤作詩去，衙中別駕、司馬苦勸而不止，料是天意得知，忽而從烏何有之鄉闖來一人，名叫張夜叉。這張夜叉披頭散髮，肩立鸚鵡，狂歌終日不息，這一日偏就橫身臥在刺史馬前，像是醉倒了，又像是瘋魔了，滿口濫說胡話，招來更多閒人圍聚，刺史就更出不了署門外大街了。可是，人們不大敢驅趕張夜叉的道理也很實在：他不胡說則已，一旦說了，語便成真。
這一天，張夜叉說的是：「太守向是風雅人，盡說風雅話，張夜叉給太守送行，就學太守說四句吧？——太守莫出門，出門死太守。山留一世青，家有無涯壽。」
李顒留心民事，早聞聽人說張夜叉有前知之能，聽見這話也的確有些悚然。然而繼之一轉念：某身為一州之牧，位列諸侯，不能夠禁絕邪神淫祠之屬，已經俱現柔懦了，如今教這無賴漢子擋馬即止，日後還能有什麼顏面、有什麼清望？想著，揚手一鞭，馬蹄便向張夜叉踏了去，一踏撲起了一陣黃埃灰土，空中只一鸚鵡盤旋數匝，嘎鳴而去。
此後之事，俱在李顒詩自注之中。這首詩的題目是《匡山夜吟繼赴大明寺有懷寄趙征君》，主旨乃是借由西晉時張翰忽然棄官的故事，來隱喻自己逃脫公職、作一日游的心境。
秋風召我入匡廬，繫馬韉纓綴酒壺。隱約浮詞與君共，微聞高鳥向人呼。去來歸意分明在，多少名心逐漸枯。十里燈簷驚唄早，輕雲渡得此身無？
秋風之思，向出張翰。張翰字季鷹，曾任齊王司馬冏東曹掾，《世說新語·識鑒》說他在北地洛陽任官時，有感於秋風之起，而強烈地思念故鄉吳中盛產的菰菜、蓴羹、鱸魚膾，於是跟人說：「人生貴得適意爾！何能羈宦數千里以要（按：要，即邀，貪取的意思）名爵？」遂命駕而歸。不多久之後，齊王敗於司馬乂而被殺，當時人都以為張季鷹有「知機」之能。
匡廬，本來就是指廬山。李顒借用這個現成的詞，拆其字意，說的是趙蕤所隱居的大匡山室廬，也是詩家慣技。從詩的內容可以看出：這一天他乘馬登山，還攜帶著酒壺，為的是去和趙蕤商討詩句。詩意所繫，應該就是不耐為官的心情。這一場詩酒之會，或許在上半夜就結束了，揆諸常理，李顒應該不方便留宿，所以到了下半夜，便策馬告別，獨自前往北山之鄰的大明寺借宿。
由於到時尚屬夜分，天色未明，佛子勤劬誦經，其聲遠傳不絕，而令李顒忽生翩翩然遺世獨立之感。而在詩後小注之中，則提及了張夜叉行前示警，以及他當夜在大明寺的遭遇。
李顒今夜將到寺留宿，是他過訪趙蕤的慣例。不消說，早就有刺史衙署之人先行通報，並且預為打點。不料李顒才片腿下馬，就一溜身順落倒地，死了——唯獨心頭尚餘一點溫熱。
大明寺常住一向知道慈元與趙蕤、李客等人熟識，這一夜便遣慈元為使君知客。這份差使，在百丈懷海禪師為普天下叢林制訂清規之前，名目無數，蜀中各寺多稱為「知客水火」，也就是專為貴賓打理膳食，侍奉漿粥。
正在忙碌著水火之事，慈元忽然間聽說刺史死於馬下，便連忙趨至廄前，俯身察看，還期期艾艾地吩咐隨侍的淨奴道：「使君心頭猶熱，去取藥酒懷中熱罨來！」兩句話說完，又輕輕「噫」了聲，居然也一頭栽倒，跟著死了。
熱罨是急救之法，片刻施之，果然奏效。李顒悠悠然醒轉了來，第一句話竟然是：「和尚怎地去得恁快？」
眼前除了倒地不起的慈元之外，只有李顒公廨裡的參軍、從人以及取藥酒來推拿熱敷的淨奴，並無其他和尚。又過了不多時，寺中維那僧也來了，一路慌慌張張地問道：「慈元無恙否？慈元無恙否？」及至看見慈元倒臥在地，全沒氣息，渾身透涼僵硬，這才歎道：「果然！」
原來李顒一蹶如夢，夢中走在一片荒原曲徑之上；但見道旁一僧，手拄錫杖，待他走近時，突然合掌一揖為禮，道：「使君且留步。冥司有急敕來，謂使君尚有一卷詩文未完，此累世債，須盡償之乃已——此行，且付貧道代勞可矣。」
此外，大明寺的維那僧亦有所見——頃刻之前，他還在堂上指點新僧誦經，忽然看見正殿旁閃過一條緇衣人影，心想：時過寅初，豈容支離院僧夜行？遂趕緊奔逐而出，追隨那身影繞過兩個院落之後，才發現是慈元。慈元為維那僧所阻，不得已而轉過身來，面色煞白，神情哀戚，道：「已代李公大使死矣！某本佛圖戶賤民，難得遂此功果，幾般盤算，實勝在世清修，也便去了！」
維那僧但感身受寒涼，再上下打量慈元的容色，的確沒有半點活人氣息，便問道：「既雲已死，可有遺言囑托常住？」
「小僧近佛日淺，俗心難化；貪嗔不去，慚愧已極，豈敢遺言以累道侶？唯代使君死，彼亦當有深恤。可盡付常住，以充佛前供養。」
慈元所交代的，也只能算一半實在——李顒得此代命之人，在一夕間翻死轉生，既受了驚嚇，也得了了悟。不久之後，他還真傚法張季鷹飄然辭官，身歸故里，行前並捐輸大明寺數十萬宦囊所蓄，而留下了「一官何所有？半卷再生詩」的句子。
至於慈元，卻還有一半不算老實的隱私——他多年來在寺外與李客共營生計，不論放貸、質押，以貨以銀，私貯也不下數十百萬錢；這些，他都嚴口吞聲，沒半句吐露。
但是，依《匡山夜吟繼赴大明寺有懷寄趙征君》詩後小注所記，慈元還是有捨不下的眷懷，見官不得不訴——就在李顒一蹶奄逝之後，「見一僧來，云：『貧道自有手實記賬；今代使君死，匆匆不及治，奈何？』」
此處所說的「手實」，原本是唐人編戶齊民的載錄，民戶自操，是一部官署核實年籍丁畝的憑據，上面不但注記了各人應服課役，往往細舉積欠，謂之「記賬」。此賬三年一修，確保有「國人」身份者都能完糧納稅，也服事了應該從公的勞力。和尚是方外人，有度牒，自然不會成家戶，也就不會擁有「手實」，但是慈元聲稱「自有」，意思很明白了：他在世上仍有未了的債務。既有代死之說，李顒當然不好峻拒：
「予曰：『可代治乎？』僧曰：『可。貧道於昌明李客處寄資百萬，非可語人，心實苦之。果索得而為營齋奠，期不復墮奴身，於願足矣。』予曰：『和尚亦有放不下物？』曰：『未拿起，如何放下？』」
在李顒而言，這一段記述僅付笑談，不外唐人風趣。顯然，他日後並未認真為這個代他而死的和尚追討逋余，營奠營齋之事，想來是這刺史「去來歸意分明在，多少名心逐漸枯」的徹悟之後，自捐所有而償之。真要追問起令慈元一死不能或忘的這筆錢，居然在三五年間「輾轉散來東海道，間關接濟維揚人」，都結化了無情因緣——此是後話。倒是從張夜叉阻馬到慈元代死的情節，日久而訛生，後來被人繫於劍南節度使章仇兼瓊之身，大約也是因為章仇兼瓊名爵高顯、動見觀瞻之故。
慈元之死，可比江濤滾滾，留在世上的浮沫泡影僅此寥寥數十字，甚且連個名字都未曾記得。為李白帶來這死訊的吳指南也就當是一則閒話表過，他來大匡山，其實另有差遣在身。李客囑他伴送馬匹囊橐來，是要李白出一趟遠門——分別前往九江和三峽，為一兄一弟各發付一份資財。這事來得突然，李客還相當罕見地給了吳指南一份酬勞，指使他陪著李白同行。
吳指南看來意趣盎然，簡直就想即刻動身。李白一則對遠遊感到興奮又彷徨；一則顧慮著大匡山上再沒有人陪伴趙蕤，忽而替他感到冷清，反倒有些不安。
而趙蕤卻有不同的想法。他沉吟了好半晌，才招呼吳指南，把馬匹沿坡拉到子雲宅後的槽上去，囊橐也搬進了相如台，這就意味著不讓來客說走就走了。
「出蜀非同於游眉州，」趙蕤雙眉攏攢，又來回踱步，逡巡良久，才轉向吳指南道，「此去萬里，須得計議——李商另有吩咐否？」
「只說『神仙自有安排，聽憑所囑』。」
趙蕤聞言，點點頭，回眸看一眼李白，忍不住笑道：「前此往西南一遊，所囑於汝，尚能記否？」
李白道：「敬領所教三事：『見大人，須防失對；見小人，須防失敬；見病人，須防失業。』」
趙蕤捋了捋胸前長髯，放聲笑道：「一旦出，果若何？」
李白低下臉來，不作聲了。趙蕤的嘲謔並非無的放矢——金堆驛上一劍招搖，差不及分寸便招惹了驛卒之禍；至於干謁蘇頲，則空領兩句不著邊際的「若廣之以學，可以與相如比肩矣」的嘉勉，看來都難說沒有「失敬」、「失對」。更不堪的是，一年多行腳所過，到處有人爭傳李白醫道高明、藥膳精到，這就更違背了「須防失業」的世故用心。這也是他飛揚浮躁，不能謹恪沉靜的個性使然。趙蕤還不放過，接著道：
「一事不記，倒也好！汝初來時自道，寫詩恰是隨意，皆不落題目；看來汝一生行事，亦復如此。」
說到這裡，趙蕤一副龐大偉岸的身軀像是忽然鬆垮了下來，頸一垂，肩一沉，雙瞳黯然。可是，這神情也只一瞬即逝，他登時挺直胸膛，抖擻衣襟，轉身朝廚下走去，一面走，一面啞著嗓子道：「猶記初會之夜，某有新釀濁酒一壺，俱付汝等飲盡，而今此釀甕中老矣，宜再與汝等共之。」
這一甕酒，讓李白和吳指南醉而復醒、醒而復醉，不能數計日夜；而趙蕤顯然有意如此。連朝之筵，趙蕤似飲而未飲，不醉而若醉，隨著兩個少年漫天漫地說些胡話，數落著或恐有憑、或恐無據的見聞，說來不外家常，東一句西一句，恍如疇昔所經歷過的任何一個平凡朝夕。
語既不經心，意遂無所留；直到不知過了多少時日之後，李白在出峽舟中與吳指南對飲而微醺的那一刻，回眼看見船後以纜索網繩兜縛著的馬匹，在風中齜牙咧嘴，喑喑欲鳴，瞪著一雙鈴大的眼睛，像是怕驚擾了正在撼搖著天地的山影江聲，而不敢妄動。那馬兒的神情，直似不斷地將心中千言萬語，咀嚼吞嚥，決意不向迎面撲來的風濤吐露。李白這才忽然想起來，遂叫道：「神仙用心如此！」
吳指南無論身在何處，遇酒只是傻飲，當然不會知道李白的話，便混混沌沌地四下張望，但見舷窗外山青逆溯，江碧回瀾，一舟如箭，逕隨波勢向東急發，哪裡有什麼趙蕤的形影？便問：「神仙也來了？卻在何處？」
李白並不答話，他的了悟，只能自己品嚐——
那是在席間，趙蕤曾經沒頭沒腦地問道：「前番遊歷，汝父倩大明寺僧具騾車一駕隨行；今日則為備一馬，可知用意？」
李白不意有此問，想了想，只道：「車駕負載沉重，是耶？」
說也奇怪，趙蕤看似正襟危坐地提了一問，答時卻亂以他語，當下舉了舉杯，道：「鍾儀、莊舄之徒，下士也！不足以言四方之志。一俟風埃撲面，即知胡馬噤聲。汝自體會，乃不至忘懷。」
鍾儀，春秋時人，其人其事具載於《左傳·成公九年》。說的是晉景公觀兵於軍府，看見一個戴著楚國帽子的軍犯，便追問來歷。從人報之以：「鄭人所獻楚囚也。」晉景公把這楚囚召喚了來，盤問姓氏、職司，知道他世代為楚宮琴師。問他能奏樂否？鍾儀回答：「樂工既是先父的職守，也是我的專職，豈敢有二事？」
晉景公於是遣人給了鍾儀一張琴，使操其樂；果然所奏即是「南音」。晉景公這時多問了一句：「知道貴國之主究竟是個什麼樣的君侯嗎？」
鍾儀相當謹慎地回答：「這不是我等小人該問的事。」可是晉景公執意要問，鍾儀對答如此：「但知吾君為世子時，有師、保等大夫侍奉教誨，朝有嬰齊、晚有子反，這些都是賢臣——至於其他，小臣我就不知道了。」
這一番答問傳到了晉國大臣範文子耳中，以為所言不背根本、不忘故舊，也不存心阿諛，堪稱忠信敏達，於是晉景公也就聽從了範文子的建議，不但釋放了鍾儀，還差遣為專使，回楚國去促成與晉國之間的交好。
莊舄，是越國人，其事則見於《史記·張儀列傳》。縱橫家陳軫與張儀同事秦惠王，張儀以陳軫曾經「重幣輕裝」，出遊於秦、楚之間，形跡有通敵之疑。秦惠王追問陳軫，陳軫竟不掩飾，並且轉述了越國人莊舄的故事。
越國人莊舄游宦到楚國，擔任「執珪」之官，卻忽然生了病。楚王遂同臣子們議論此事：「莊舄在越國，是個低賤的小人物；到了楚國來，官爵顯要了，貴富了，他還會想念越國嗎？」這時，楚王身邊有一隨侍的近臣上前應道：「凡人之思故，在其病也。彼思越則越聲，不思越則楚聲。」楚王派遣人去窺伺，果然發覺病中的莊舄不意間所說的，還是家鄉越國的話。
陳軫舉莊舄為例，意思就是說：「臣去秦就楚，其情猶如莊舄。不能不牽繫根本。」這話說得實在，也將就著莊舄的故事，贏得了秦惠王充分的信任。此後，無論是王粲《登樓賦》「鍾儀幽而楚奏兮，莊舄顯而越吟」，或是李白《贈崔侍御》「笑吐張儀舌，愁為莊舄吟」、杜甫《西閣二首》「哀世非王粲，終然學越吟」，皆用此事。
不過，當李白在行舟之中看那馬瞠目吞聲的模樣，忽然天清地澈，萬端瞭然，原來趙蕤千言萬語都不交代，就是要讓他自己體會：這一趟出遊，不會有歸期，也不會有回頭之路。所謂「胡馬」，不外是「胡馬依北風」，自然是指戀家之思，儘管如此，可是他卻不能學鍾儀、莊舄——那種人在趙蕤這般徹底的縱橫之士看來，只不過是「下士」而已。
趙蕤這一番不動聲色的提醒，果然較之於諄諄切切的耳提面命益發受用。李白停杯遠望，凝思良久，把許許多多的人生碎片都串結起來。他驚覺那一次醉態可掬的趙蕤並沒有荒唐其言，他每一句看似枝蔓無根的談話，都暗藏機栝，互成結構，一旦想起了其中之一，其餘便亦鋪天蓋地連綴而來，的確讓李白於回味中「自體會，乃不至忘懷」。
就在嘲弄了「鍾儀、莊舄之徒，下士也！」之後，趙蕤忽然狀似不經意地舉杯問李白：「下士聞道而大笑，何解？」
這是老子《道德經》第四十一章上的一段話：「上士聞道，勤而行之；中士聞道，若存若亡；下士聞道，大笑之。不笑不足以為道。」是在引申前文「反者道之動」的意思。老子自有對於上、中、下士的等差之見；以為「下士」由於見識淺薄，根本不明白真正的道體道用為何物，一旦接觸了道，便以為荒誕不經，便大笑起來。反而言之：唯其因為「下士」之笑，也就顯現出道的高深了。
李白依本義答了。趙蕤卻立刻道：「某既云：鍾儀、莊舄為『下士』，則鍾儀、莊舄所笑者何？」
這是一個尖銳的衝撞——鍾儀、莊舄之念舊、思鄉，或許出於私情；但是在儒家史傳經典的教訓裡，心繫故國不只是個人的情感，更是不可撼搖的倫理，甚至就是「道」的具體實踐。從這一方面說，則鍾儀、莊舄不但不是「下士」，還應該被許為儒家的「上士」——他們惓惓孤忠，耿耿不忘，一生「勤而行之」的，不正是對生身家國的眷戀和愛慕之「道」嗎？
一旦從這個儒家之「道」來看趙蕤，其論勢斗術，非君無父，反而注定要成為正統士君子眼中的「下士」。可是，在一個游心於廣宇、騁懷於天下，從根柢之處不以閭閻鄉黨為念的縱橫家眼中，「道」卻超越了家與國之間的種種聯繫；趙蕤所追問的，乃是：當舉世都推崇著鍾儀、莊舄那樣的士君子的時候，被目為「下士」的縱橫家如何自處？
「某既笑鍾儀、莊舄為下士；則鍾儀、莊舄亦必笑某為下士。」李白嗅出其中仍不免是那正反相對之論，一時難以取捨，只能勉強拾了句孔老夫子的話應道，「道不同，不相為謀。」
趙蕤為每個人再斟上酒，也撿起一句夫子牙慧追問：「彼之道便取那『在邦無怨，在家無怨』；則汝之道又如何？」
「在邦無怨，在家無怨」是孔子回答仲弓問仁的話，趙蕤用此語，不外就是暗示：鍾儀、莊舄乃是「邦」與「家」的囚徒。
「某之道——」李白忽然想起來了，應聲答道，「神仙曾經說過的：『身外無家』！」
「汝得之矣！身外無家，以為天下事也。」趙蕤放懷笑了，隨即一口飲盡杯中之酒，復道，「某這也是『下士大笑』！」
舟行順流，江水滔滔，李白怔怔地望著那匹漸慣於風浪顛簸而安靜下來的馬，徹底明白了趙蕤的意思：從此以往，一身所及者，唯天下耳。
這是一次徹底訣別的浪游，與先前的錦城眉山之旅是多麼的不同。他不能再作居鄉之吟，不能再有歸鄉之思，甚至不能再圖返鄉之計。因為唯有在人世間徹底拋開了他作為一個商人之子的身份，他才有機會成為大唐帝國萬里幅員之中的一個全新的人。
說是訣別，也就像月娘乍別匆匆之言：「天涯行腳，舉目所在，明月隨人，豈有什麼遠行？」李白告訴自己：世上沒有真正的遠行；若有，便是在分不清前浪後浪、此水彼水之間，拋開每一剎那之前的那個故我而已。
兩年以後，他在揚州逆旅中臥病，平生首度以為自己即將死去，因而寫下了《淮南臥病書懷，寄蜀中趙征君蕤》；這是他寫給趙蕤的一封信，也是唯一的一首詩：
吳會一浮雲，飄如遠行客。功業莫從就，歲光屢奔迫。良圖俄棄捐，衰疾乃綿劇。古琴藏虛匣，長劍掛空壁。楚懷奏鍾儀，越吟比莊舄。國門遙天外，鄉路遠山隔。朝憶相如台，夜夢子雲宅。旅情初結緝，秋氣方寂歷。風入松下清，露出草間白。故人不可見，幽夢誰與適。寄書西飛鴻，贈爾慰離析。