西靈塔是一座不尋常的塔，數百年傳說，「此塔有翮，每有災異即飛行」。
後人思之，不得不感慨：這與廣陵的處境有關。三國時魏吳割裂廣陵縣，魏置淮陰縣，到了西晉之時，割淮陰之東，為臨淮國；及至東晉，又於廣陵郡置青州。此後代有更迭，治絲愈棼南朝劉宋改南兗州，北齊改稱東廣州，繼而呼江陽郡、吳州不一直到隋開皇年間才廢廣陵，改吳州為揚州，置總管府。
然而天下雖然一統，紛亂未有了時。當局每興望治之心，必先為易地名。即使大唐李淵定鼎之後，人心疲敝，無論民風淳薄朝廷對於各地總還是那一套，藉著不斷翻新復古的指稱命名，宣示所有；每隔三數年便改州復郡、改郡復州，真無了局。這是揚州廣陵、江都不時互稱的根柢。而西靈塔似通人情政事，每每皇帝下詔敕改制之前十日，塔身便微微晃動，塔簷上的火珠也隨之旋轉不停。
根據地方載記，高祖武德三年、七年、九年，分別現此異象，「塔動，移時不止，簷珠圜轉如疾風五緉，觀者盈千，皆震怖號呼，及止，復相慶無他故」。其中的「五緉」，就是用重量約合五兩的雞毛捆縛成束，狀若雀鴒，懸之高桿，以為風標—當疾風不止的時候，這五緉隨之飛速旋轉，大約也就是火珠受震的情狀。每當塔動之後的十天，的確都有改稱、改名的皇命下達。
遇到了更嚴重的變革甚至災禍，西靈塔還往往拔地騰空，倏忽移走，有時甚至出現在百里之外。天後永昌二年九月，武則天變唐為周，改元天授，之前十日，此塔夜半遁形不見，直至黎明時分，才有人看見塔身端嚴正直立於江南句曲山的半山腰上，人眾不敢接近，只能遠眺膜拜，塔飛去山曲，亦無別樣，歷一日而返。
二十年後的七月下旬，發生了唐隆之變。早在七月十五日晡時，此塔又於一瞬間不見，眾人這一次乖覺了，紛紛過江而南，一時擁擠雜沓，渡頭為之塌壞。果不其然，西靈塔又出現在句曲山巔。是夜每當浮雲盪開，火珠光明熠耀，數十百里外皆清晰可見。到了第二天黃昏時分，西靈塔還是不負眾望，又回到了原處。
十天之後的晡時，李隆基微服入禁苑，率劉幽求、鍾紹京、葛福順、李仙鳧等，自玄武門發北門軍將士，誅除韋後一黨，彼時，天星散落如雨。
日後每逢邦畿大故，這一異象便層出不窮。直到李白歿後八十年，唐武宗會昌二年，淮南有一詩人，姓劉名遯、字隱之，乘船前往明州遊歷，在艙中偶感睏倦，打了個盹兒，忽然眼離錯覺，以為身在海上。再一轉眼，看見萬頃碧濤之中，有一座七級浮屠並舟前行。而在那塔的第三層上，憑欄站著一個他相識的僧人—正是長年在西靈塔旁結廬而居的高僧懷信。懷信遙迢呼之，道：「貧道暫送此塔過東海，即還。」一覺醒來，也就忘了。
又過了幾天，劉隱之回到揚州，乘興往寺中拜訪懷信。懷信還問他：「猶記海上相見時否？」隱之這才想起那夢境，海上舟帆波浪，歷歷如繪。一時之間，詩人與僧人也就平添了幾句家常閒話而已。殊不料再過了幾天，居然天降一火，焚塔成灰，萬般木石並金箔玉瓦也就在片刻之間，付諸灰燼。《獨異志》記錄當時景觀有此十字：「方圓數里之內，白雨如瀉。」而塔旁的草堂卻一無所損只不過原先在草堂中禪定的懷信從此失去了下落。
這一年，懷信整整一百歲。草堂中留有一雨傘、一錫杖、一袈裟一銅缽和一紙偈。偈語云：「金佛離三界，玉毫迷十方。」這是與傳統沙門之教很不一樣的看法。《妙法蓮華經》謂：佛放眉間白毫相光，能通達萬有，使「東方萬八千世界，靡不周遍—下至阿鼻地獄，上至阿迦吒天；於此世界，盡見彼土六趣眾生」。可是懷信的偈子卻與此說成逆反之論，意思彷彿是說：佛，即將遺棄這個世界，其眉間白毫相光也不再遍照三界。唐武宗之滅佛毀寺、驅逐僧尼，恰其時也。彼時，已是李白初登西靈塔之後一百一十六年。
李白隨錢塘龍君登臨西靈塔時，所賦之詩為《秋日登揚州西靈塔》：
寶塔凌蒼蒼，登攀覽四荒。頂高元氣合，標出海雲長。萬象分空界，三天接畫梁。水搖金剎影，日動火珠光。鳥拂瓊簾度，霞連繡栱張。目隨征路斷，心逐去帆揚。露浴梧楸白，霜催橘柚黃。玉毫如可見，於此照迷方。
這是一首五言排律，格調森嚴，除了第一句三平落腳之外余皆謹守平仄和對仗的章法。李白刻意遵循「時調」之作總有緣故，一般多為干謁公卿而用之，不得不端正矩范，一方面顯示自己行文亦可不離繩墨，一方面也借由斟酌精嚴而襯托出作者尊重、禮敬的態度。
此作雖然嚴謹，卻與干謁無關，他是寫給錢塘龍君的。全詩除了「目隨征路斷，心逐去帆揚」一聯略涉經歷，卻也沒有太多的感慨，其餘諸句，更純屬景色的鋪陳，幾乎句句用在眼前所見之塔，並無個人感懷、抱負或情志，在華麗中蘊含著典雅的氣氛。只不過第四、五、六、七諸聯一氣八句，純用一種句式，欠缺詞理變化，於是顯得語境沉滯拖沓，甚至頗引勉為鋪張之感。直到結句時，為了不使全詩淪為空洞的觀覽，乃鑿入《妙法蓮華經》的典語，看來也是對錢塘龍君神通妙道的一聲褒贊。
錢塘龍君引李白一步一步登塔，直上七級，憑欄南眺是大江，看了半晌，沿著窄廊踅至西面，俯首略瞰，丹砂正捧著布囊衲袋，一面辨識著袋中草藥，一面指點群丐向週遭花樹叢中攀折砍伐。
「此僮神完氣清，根骨靈慧，比之先前那酒蟲，須是大好道侶！」龍君像是同李白說、又像是同他背上那怪物說，引得怪物不住地點頭，連聲低吼。
「龍君去後不多日，指南便病故了。」李白心中敬重這龍君，頗不欲任他說些蹧踐吳指南的話語，神色先自肅然起來。
但是龍君卻彷彿藉著題目，立刻揚聲道：「汝天資秀異，識見卻恁淺俗—寧不知道體所在，周流不拘，忽而為草芥，忽而為木石，忽而為蟲豸，忽而為禽魚，忽而為男女，忽而為糞土。生死不過是小隔別耳！汝既是天星入凡，豈能滯此瑣屑之情？」
「凡身一事無成，固無奈難捨，只是癡而已。」
這個「癡」字—李白在旅次之間尋思已久，實非泛泛之語—它原本是丁零奴從李白略能記事起、就隨口把來笑罵他的一個字也許不是多麼嚴重的斥責，卻總透露著丁零奴對年幼的李白所著迷之物、所執拗之事的一種輕蔑。彼時，但凡李白有念念不忘而叨叨不絕者，丁零奴別無長言，便以輕輕一聲「癡」為之按語。
李白原本不解，也無從求解。日後，直到他在錦官城大通寺聽維那僧道海說《毗奈耶破僧事》，竟是一則「獼猴捉月」的本生故事，才約略通曉：癡之所狀，便指心有所專，餘事皆無名，彷彿故事裡成群結隊、驚惶哀感、急著想救拔那井底之月的獼猴。癡即是心念所繫，導致知見無明，甚且因而賠上了性命，卻也無從追悔的頑耿之性。
儘教他日夜征塵，隨時與江山人物忽遇忽離，恰似《古詩·驅車上東門》所謂：「人生忽如寄。」一旦落腳廣陵，就聞聽人言東去不幾程，便是滄海。如此則看似已經來到天之一涯，可是猶覺世間茫茫，難著根腳；既不堪回眸來處，又不知放眼去處。那些有如浮雲與飄萍一般相會隨即相別的人，卻總在他吟詠詩句的時候亭亭然而來—他們或行或坐，或語或默。有時，李白還真不能辨識眼前所見者，究竟是心相或物相，是實景或幻景。久之成習不得不坦然以對，他也就不再悉心分別：孰為昔？孰為今？何者屬實？何者為妄？總而言之，詩句其來，猶如難以割捨的人；想念之人，盡付橫空不去的詩句。非待一吟罷了，諸象不滅；諸象既滅他的人生也只剩下了字句。
「百情無礙，一癡害人！」龍君又回頭同那怪物碎念，可是所說的話，卻像是刻意給李白聽的，「莫道只某放汝不下，孰料此子肩背上所負之物，其沉重猶過汝；他卻好隨那江流溷沌翻滾，就勢而下，直出東海去也！」
龍君三言兩語，字字句句刺著李白痛處。
出蜀以來，他一步錯過三峽、一步乖隔九江，一步又一步逐風塵而彷徨，反而寧可彷徨。他不但偏違了原先的目的，也辜負了李客的囑命。尤其是攜將數十萬錢的貲財，究其情實而言，反而更像是背負著李客虧欠於人世的一筆債務。他既不知該向誰清還，也不知該如何湔雪這錢所沾染的恥辱。漫無行方也漫無止境地遊蕩，似乎是唯一的救藥。
而他每過一處，每遇一人，每經一事，每吟一詩，都借助於陌生之感而覺得自己宛然一新，暫時忘卻了、也擺脫了自己的過往；那是李客與他父子二人相生而成的巨大虧欠。這一切，的確像龍君肩頭所扛負的莫名之物一般—甚至連暴死於洞庭湖濱的吳指南—也渾似在他的背上，真個揮之不去。
這時，李白凝眸睇視著七級浮屠之下、那些個忙著採藥的丐者，第一次道出了對於吳指南唸唸不能釋懷的遺憾：「某至此方悟得：指南之死，實以某殺之！」
「噫！」龍君一時聽不明白，問道，「寧非病故耶？」
「昔年某出遊錦城、峨眉，某師趙征君曾誡某：『見病人，須防失業。』某竟忘之，日後行腳所及，不忍見人病苦，隨手處置，遂博醫名。」
「不能忍人之苦，是癡無疑！」龍君放聲大笑，肩頭的怪物也跟著狺狺作聲。
李白的容色卻益發沉穆，繼續說道：「客歲東行，某師復諄諄致意，仍以『見病人，須防失業』誨某—當是此語，令指南聞之始終掛懷，乃不從某診治，亦不受藥石；此非某殺之而何也？」
「『見病人，須防失業』是何語？不解。」
「師以功名相期，若旦夕以醫道知名，即入匠業，恐於士行有防。
「高人知機，高人知機！然知機又復奈何！汝便是一癡人，聊堪自苦而已—」龍君大搖其頭，笑得更闔不攏嘴，道，「至於那酒蟲，也是癡；彼合該當死，竟與汝何干？」
「畢竟幽冥異路，生者遐思無極。」李白苦笑道，「洞庭蕭寺那僧，龍君亦見過，彼還道：指南死後，會當化作丈六金身之佛足見野人亦堪成就大修行，豈便以酒蟲呼之？」
「既知一死而成萬化之機，此即道體周流之證。汝先前如何語某？尚記否？」說到此處，龍君將起綠玉杖，拍打著欄杆，扯開喉嚨吟道：「『毋寧捐所繾綣兮，臨八表而夕惕』！此太上忘情之至道也不幸而先為汝一枝好筆寫出，汝卻行不得！」
猶如「以子之矛，攻子之盾」，這是將李白焚告錢塘龍君釋怨止爭的句子，把來調弄李白執迷不悟的自責；令他尷尬，卻不能不若有所悟。他，究竟能不能像趙蕤一般—至少看來無視於那些浮蕩於塵世間的生老病死之苦？或者至少也倣傚那丁零奴模樣一任東西漂泊、去來自如，似乎全無牽掛。
往更深一層去剖看，這話也恰恰揭露了李白對前世今生的懸念糾葛。倘或自己真如父母一向所言，是太白星所謫，則凡身所遭遇的一切，都不得不視之為應得的懲罰；則口頭筆下的超脫與豁達恐怕也只是虛言夢囈而已。如此一來，謫下凡來的天星，又何須枉費力氣，追求忘情之道呢？龍君嘲笑他不能忘情，倒像是在提醒他不必借此逃避—謫仙之天刑，端在於有情罷了。
「龍君乃是神明，神明無所不能，忘情有何難哉？」
「非也！非也！太白星君此言大謬不然了。」龍君接著道，「儘教吾輩形容百變，馳驟萬端，有時移山倒海，有時摧枯拉朽，術力深矣，威嚇大矣，操縱夥矣；然—恰是無所不能，故宜有所不為；可為而不為，此即神明難處。某今來會汝，偏即為道此故。」
「更請龍君明示。」
「人世亦總有難易兩途，君欲任其易者，抑或任其難者，皆自由，卻不可癡迷莫曉，但須辨其可為與不可為，而後為之。」
「如何是難？」
「生者難為情，有情難為死。」
「如何又是易？」
「遺蒼生以怨懟！」
「啊！那是—」李白沒有說下去，那是他自己的句子，仍出於《雲夢賦》的第四章，他勸誡錢塘龍君以蒼生為念，不要為了與涇河龍君的私怨而使黎民受災，原文是：「私抱棖觸而難安兮，豈遺蒼生以怨懟？」龍君削去了領句的一個「豈」字，意思正好相反；說直白了，就是：如果要走的是一條坦易平順之途，就不要時刻以天下蒼生為念。
「念中有一人，即受一人之苦；念中有千萬人，即受千萬人之苦。」龍君道，「汝賦神仙之資，又慕神仙之道，然汝師之言，慎勿輕易；否則恐將為病所累。」
「病？」
「病！廣陵而後，愛憎怨尤、窮愁挫辱，一應俱至，無時或已；是皆始於一病。」龍君又將綠玉杖朝塔下群丐揮了揮，道，「病既來，固有藥以待之。星君且自問：若不能忍人之病，而略施妙手，然則，拯一人於疾苦而不足，拯千萬人於疾苦則足乎？此為難哉？此為易哉？」