許家的確藏了為數極多的銅錢，然而無涉於貪墨，卻是從當年許自然射獵殺人之事衍來—其事不宣於外，仍與銅錢有關。
許氏原籍高陽，梁末徙於周，遂家安陸。許自正之祖、許圉師之父許紹，字嗣宗，少年時與高祖李淵為同學，大業末年征為夷陵郡通守。入唐未幾，受封為硤州刺史、安陸郡公，而後又晉封譙國公。當是時，李淵對李靖極不放心，密令許紹殺之。然而許紹愛才總為李靖緩頰求情，再三保得不死。
李靖終亦不負信用，在武德三年以八百精銳俘虜五千開州蠻族，確保夔州；接著在第二年秋，趁江水大漲、三峽險惡之際，迫軍夷陵，包圍江陵，逼使佔據荊州、自立為梁王的隋代遺臣蕭銑出降。李淵終於見識到許紹的胸次與眼光，大喜不能自勝，忍不住失聲叫道：「人云『使功不如使過』，果然！果然！」
此語流傳數百年，源出兩漢間。更始帝時，中朝遣使者巡行各州郡，號曰「督國」，此輩之人，往往借端仗勢，窮治搜刮。東郡某太守為使者所摘發，即將問斬。當是時，身為郡學教授、兼職官署下掾的索盧放挺身而出，侃侃而言：「太守受誅，誠不敢言，但恐天下惶懼，各生疑變。夫使功者不如使過，願以身代太守之命。」索盧放的豪義之氣打動了使者，非但未曾加誅，也放過了太守。「使功不如使過」之語，遂成為數百年治術典範。
許紹於天下有大功，卻不料，就在次年（也就是武德五年）征伐蕭銑的時候，竟於軍旅中一病不起。李淵極傷心，一時不能自安，繼賞了大筆銅錢，據說「為數巨萬」。巨萬又呼大萬，萬萬相乘，就是以億計之數。安州人數代以來紛傳：許紹的棺木是以十分巨大的四駕馬車運回故鄉來的，可是運載輜重的馬車來而復去、去而復來，絡繹不絕於途，裝載之物究竟為何？沒有人能窺見。但知進了許家的院落—有人說：那都是皇帝私下賞給的錢。
多年以後，時任奉輦直長、職司宮中車駕的許自然射獵殺人，實非意外。
先是他在一次私行出外遊獵的時候，誤犯人田。田主一怒之下，抗聲斥責，意猶未盡，還遣動了家丁，持杖來伐。雙方格鬥了一陣，互有些小小不言的折損，各自收陣。許自然一紈褲子，視之猶如兒戲，原本還不曾動氣，逕笑著拋下兩句閒話：「今日之遊，其樂無極，毀汝禾苗若干，便依時價來奉輦局索去。」
不料那田主知道許自然的身家，竟回敬了幾句難聽的話：「汝家家藏銅棺百口，滿斂青錢，俱是汝阿翁身前收買，身後博回，怕是冥鏹，某豈敢索用？」這話說得相當陰毒，卻不是沒有緣故。
也就是在許自然的祖父許紹病故之前未幾，戰陣方熾，當時蕭銑在長江南岸有安蜀城，與硤州相對，次東有荊門城，都是形勢險峻之地，而蕭銑鎮以重兵，天險人危，絕難力克。許紹攻破荊門之後，高祖大悅，非但下詔褒美，還許以便宜從事。彼時，許紹的士卒若有為敵所虜者，輒見殺害；而許紹若執敵為虜，卻常常發付資給，悄悄遣縱，令其歸鄉。這是後來伐梁之役勢如破竹的關鍵—史稱：「賊感其義，不復侵掠，闔境獲安。」乃是基於此。所謂「身前收買」就是士族之人嘲謔許紹行收買民心的手段，有類商賈賄賂這話聽在許自然耳中，當然是極不受用的。
許自然聞言大怒，當下抽出箭囊中的一支鳴鏑，覷準田主應弦而發，貫胸而過。有一說這田主當場畢命；有一說他活下來帶箭進京，控告許圉師「侵陵百姓，作威作福」—無從抵賴，箭上還清清楚楚刻著許自然的名字。苦主也是世家之子，豈容怙惡輕縱？許圉師私心回護，想把事情掩蓋下來，不意又為高宗寵臣中書令李義府所告發，而為太子少師許敬宗所讒謗，以為：「人臣如此，罪不容誅。」
當時這一場糾紛還引得高宗皇帝十分不快，君臣幾近口角許圉師不能接受「作威作福」的指控，遂反唇相稽：「臣備位樞軸以直道事陛下，不能悉允眾心，故為人所攻訐。至於作威福者或手握強兵，或身居重鎮；臣以文吏，奉事聖明，唯知閉門自守何敢作威福？」這一番話把皇帝激怒了，跺足斥道：「汝恨無兵邪？
爾後許圉師雖僅貶官虔州刺史、繼轉相州刺史，非但聲譽不墜，地位崇隆，仍為天下士行榜樣；但是許家也從此封蔭日低，風光不再了。倒是士族的門面還撐持著，或以為還是許紹當年以一條老命掙來的家底，那些取之不盡、用之不竭的家藏銅錢使然。
受杜謀囑托搜求藥方的廣陵薛商久歷江湖，自忖：倘若傳聞屬實，盡就許氏一家所藏，假以適量的合金燒鍛，以一化三、以一化五，當能供應坊市間日益緊縮的銅錢，不數月之內，還可成就數十萬緡的厚利。忽一日，他施施然而來，登門求見使君，說是帶來了杜謀所囑托的「太白藥」。
士商有別，等閒不相接問，這是慣例。然而杜謀先一步返回故里，提及廣陵疫情，以及疫鬼隨身一節，足見事態不容輕忽。待廣陵薛商應命到訪，許自正還是親自見了來客。答問數過，但看此商不只識字能文，通書曉史，劇談遠近人世，可謂博學多聞；其人應對儀態、談吐更十分得體。主客二人不覺移時而忘倦，說起荊揚間的民情市況來。許自正指著几案上的藥方子，順口問了聲：「太白藥向所未聞，當有說？」
「固是市井傳言，謂天星下凡，拯萬民於癘疫；其言殆不可信，唯藥效頗驗。然—」薛商略一沉吟，臉上浮泛出一絲將信將疑的神情，接著道，「某夤緣而遇一蜀商，或疑即是彼人。」
那是在廣陵城極其繁華之處的瓊花樓。樓高六丈，團團八亭，聳入秋雲，每亭之頂做五瓣花狀，髹以白漆，八亭當央，復環抱一樓閣，其間復道相通，形制恰如瓊花叢生之態。樓外有一無名小溪，不過丈許寬窄，溪水清淺，春不肥、秋不瘦，自北而南遁入江濱；唯於晴晝月夜，鬧得粼粼波光，看來亙古如斯，難得竟回入庭園，成一勝景。
瓊花為江淮名物，外八朵、內一叢，呈九合之狀，一般四五月收春時節眾芳零悴，此花則大放異彩。通體外觀，其大如盤，潔白似玉。又稱「聚八仙」、「八仙鬧」，此外，它還有一個與古史有關的異名，叫「八公好」。
昔年淮南王劉安帳下之儒，日夕鑽研神仙秘法，其中領袖八人各皆鬚眉皓素，名曰左吳、李尚、蘇飛、田由、毛披、雷被、伍被晉昌，此八人並能煉金化丹，出入無間，時號八公。舊聞八公與劉安攜手登山，埋金於地，肉身白日昇天；而「八公好」看似八朵五瓣白花，簇擁著中間團團密密的一叢小花，所象者，就是八公與劉安升仙之姿。說也奇怪，此地自淮南雞犬升天以來，瓊花逢暖即開不問春秋時序，這就更加深化了八公神話的影響力。
當地語音經久而訛變，「八公好」衍成了「白毫」之說，甚至還有「仙人白毫子」一詞。無何風月場上，人人喜愛穿鑿附會，漸漸地，就將「白毫子」與八公事跡相雜，視之為一個隱居的仙人了
儘管是秋冬之際，瓊花樓盛況亦不亞於四月春花盛開之時。過境廣陵商帆雲集，大多數匆匆往來的過客並不在意疫情，笙笛歌舞冶遊佳興，似與黎庶之病苦全然無涉。倒是街頭巷尾有童子投太白藥入井、為人治病之事喧騰未幾，這遠近馳名的瓊花樓上忽然來了一位豪客，口操蜀音，自稱「五蠹人」，身邊將攜一童，銀鞍駿馬意態昂揚，卻不像一般尋芳之客，他是來找人的。
覓人行蹤，總該言明姓氏裡貫、年貌身家。可是這五蠹人什麼都不說，只在瓊花樓留下了一首詩，請樂工伶人「代覓能為者依譜上琴而歌」，還隨手留下了五十貫錢作賞。五十貫斷非小數目兌大唐純金可得十餘兩，酒席歌筵，這是前所未見的手筆，真堪稱豪客而不名了。
這豪客言明一月為期，譜得合節入律者，向樂工處留下曲式，一旦能歌，五十貫錢可悉數捲去。瓊花樓的報科頭人把那些錢仔細掂量查看，不免吃了一驚—整整五十貫，俱是益州上爐所冶鑄的官錢，一枚不假。
瓊花樓懸賞五十貫求一曲，這事在酒亭歌館之間很快就傳揚開來，非圖廣陵一地，連江都、六合、揚子、高郵諸地之能歌擅樂者，無不躍躍欲試。接著，江南地方也傳出了有意一博五萬錢者間關而來，登門獻藝—偏偏那豪客一去匝月，說准了再來之期，卻不見蹤影。有人說那豪客遯居在城中某逆旅內，連日不出，似乎也染上了時疫。瓊花樓是有名聲、守信譽的門巷，於懸一賞格征歌選樂之事，不敢擅自作主，只能守望這「五蠹人」之再來。
他親筆寫的那首詩看似平常，言志不外飛仙，道景頗近素寫，雜用三、五、七言十六句，婉轉遞換四韻，並不恪守時調，而顯示出一種活潑、佻達的情趣；其用語之奇突流蕩，還間雜著魏晉古體的風味。然而，除了九十六字的詩句之外，他還行了一令—譜曲者必須依「瓜州調」而歌。
瓜州、瓜洲不同。瓜洲就在揚州治下，與對岸鎮江西津渡齊名，為長江北渡運河之起點，瞰京口、接金陵、際滄海、襟大江，每歲有八方漕船數以百萬計，地充南北扼要。史稱：「百州貿易遷涉之人，往還絡繹，必停泊於是，其為南北之利。」
另一瓜州，則早在春秋時代就因生產蜜瓜而得名，大唐武德五年置縣，治所在晉昌。此州位於大唐與吐蕃的邊境，迢遙絕塞之區，堪稱往來西域之咽喉。正當此年九月初秋吐蕃出奇兵襲擾瓜州，當先兩員大將，分別是悉諾羅恭祿及燭龍莽布支，據說臨陣之時二人合乘一騎，風馳電掣之時，竟有三頭六臂之態。
吐蕃一舉拿下瓜州之後，活捉刺史田元獻，還俘獲了河西節度使王君的父親王壽，接著便轉攻玉門。初傳邊報，只說來者混雜兩軍戰旗，一陣為吐蕃贊普所部，一陣為突騎施蘇祿所部，兩方兵馬合而為一，將大唐安西城團團圍住。不久之後，又有更令人驚悚的消息傳來：燭龍莽布支故意縱放了一部分俘虜，讓他們帶話刺激王君，說：「將軍常自以忠勇，今不一進戰，奈何？」王君只是登陴西望，臨風而哭，偏是不敢出兵。
五蠹人身在廣陵，以眼前之瓜洲渡，命譜萬里之外的瓜州調十分耐人尋味。很多生長江淮之地，翫習六朝之音的樂工未必知曉那北地邊塞歌調的來歷。五蠹人自稱：「但知西域有瓜州調，某卻不曾習得，願散五萬錢，一聆新聲！」以此懸賞，看在知音者眼中是有心尋訪某人，而那人顯然得受過邊塞歌調的浸潤。
留在瓊花樓的詩文，是這樣寫的：
淮南小山白毫子，乃在淮南小山裡。夜臥松下雲，朝餐石中髓。小山連綿向江開，碧峰巉巖淥水回。余配白毫子，獨酌流霞杯。拂花弄琴坐青苔，綠蘿樹下春風來。南窗蕭颯松聲起憑崖一聽清心耳。可得見，未得親。八公攜手五雲去，空餘桂樹愁殺人。
五蠹人之號，顯然出自韓非之《五蠹》篇。以「五蠹」自號則是將韓非子心目中五種禍國亂政之人齊攬於一身。其一為泥古不化之儒，其二為仗劍行遊之俠，其三為唯利是圖之商，其四為逞口辯舌之縱橫家，其五為怯戰不敢言殺之懦夫，號為「患御者」；並稱之為五蠹。
戰國晚期，天下人口漸多，也浮出了一種異乎尋常的現象，大量湧現許多不能歸於古代宗法制度羈縻、約束的人口。其中，遊民托身於豪富之家，以避賦稅、逃兵役；游士則馳騁於列國之間，憑湊泊之學、強矯之辯，向人君干千金之祿，而邀一時之功。韓非子認為這些人於富國強兵之道非徒無益，甚且有害，故稱之為五蠹。
至於自號「五蠹人」者，的確就是李白。為了恪守臨行時趙蕤「見病人，須防失業」的訓勉，李白在施藥救人這樁事上隱姓埋名，不求聞達，更在自己卑賤的身份上開了一個大玩笑—五蠹人這諢號，似乎微微透露出一份自嘲。
不解白毫子，便不解此作用意。千年以下，為太白著錄詩集者亦不免牽強而附會。《古今注》即謂：「淮南服食求仙，遍禮方士，遂與八公相攜俱去，莫知所在。小山之徒思戀不已，乃作《淮南王》之曲焉。」在這一背景上，王琦對此詩開篇就有了誤會，他申論道：「上句之『淮南小山』，本《楚辭序》以讚美白毫子之才；下句之『淮南小山』則指白毫子隱居之地而言。白毫子，蓋當時逸人。」此說望文生義，大謬不然。
淮南小山（以及大山），初見於王逸《楚辭章句·招隱士序》，云：「昔淮南王安博雅好古，招懷天下俊偉之士。自八公之徒，鹹慕其德而歸其仁，各竭才智，著作篇章，分造辭賦，以類相從，故或稱『小山』，或稱『大山』。」這就是指劉安門下之客的文學集團。不過，在李白創作的意念裡，此山彼山，人事天然，一語兩兼。
實則全詩之眼，開篇已明，並沒有多少扭曲繁複的寄托，說的只是一物：八公好—換言之，就是把「白毫」當作瓊花的另稱白毫子歌，就是瓊花歌。從全詩第五句「小山連綿向江開」的「開字視之，一目瞭然，由於瓊花覆蓋綿密繁茂，淮南小山便像是一整朵巨大的白花—猶如九合一體的朵朵瓊花—逞其全力，朝長江巨流撲騰綻放。李白在此詩中顯示了新奇的手段，交疊起眼前之景心頭之意，以及物外之象，通合為一，泯除虛實彼此的分際。所以前一句還說這小山為白毫子連綿包裹，下一句即接二連三狀述「碧峰、巉巖、淥水」，霎時間剝除了花衣的披戴，恢復山水之故我這便使白毫子之為物，有了瞬間變動、隨時遷化的情味。
白毫子既不是神仙，也不是逸人，但是在仙境之中，此物與松下之雲、石中之髓並列，不可或缺。尤其是「朝餐石中髓」之句會心者不難將一今一古二事，合而為一作想。從當下看，滿廣陵城受太白藥之惠的人，都知道那救命之物狀似青泥，此為今朝眼前之事；至於古事，也是揚州當地句容先賢葛洪《神仙傳》上流傳廣遠的一段軼聞。
魏晉間，邯鄲人王烈常採食黃精，煉服鉛丹，壽二百三十八歲其人容色少艾，登山如飛，曾步行入太行山，遇山崩，崖石斷裂數百丈，當下「有青泥出如髓，取摶之，須臾成石，如熱蠟之狀，食之味如粳米」。據說王烈曾經搓合了幾丸泥髓，有如桃子般大，攜回共嵇康玩賞，可是到了嵇康手上的時候，神藥已堅硬如石；敲之擊之，竟鐺鐺然出銅聲。葛洪書上也提到，仙經所云：神山五百年一開其中有髓，能夠服食到的人，壽數得以與天地同齊。
《白毫子歌》所詠的既不是人，瓊花所服食的也就不能拘泥在五百年一開之山所流出的青泥，而是一向隱伏、保藏於大地之中的石髓。這個比擬順理成章，並不難解。真正需要尋思的，原來是這一味太白藥方中加入了瓊花之枝、葉及果，三者並收散熱、解毒、消炎之效。那麼，「余配白毫子，獨酌流霞杯」就是在疫病中飲藥的方式了。當時丹砂奉命到百姓家戶各處分藥，背誦了連篇服藥的口訣，其中就有這樣兩句：「唯服藥之日，禁絕谷肉蔬果之食。」此語，可證諸流霞杯。
此外，東漢王充《論衡·卷七·道虛》載有一則傳奇之事，更證「流霞杯」是辟榖之道。所言為數百年前的河東蒲阪項曼都，其人好道學仙，離家出走，三年方歸。家人問其經歷，項曼都的說法卻讓人驚訝：
「我去時根本無所知覺，只道自己是臥睡著，卻見有神仙數人，將我上天，離月只數里之遙，仍復向上攀飛不止。但見那月，上下幽冥，不知東西。我便居月之旁，其地寒冷極甚，淒愴可知。旦夕覺得腹中飢餓了，仙人輒飲我以流霞一杯。每飲一杯，數月不饑。通亦不知去了多少年月，更不自意如何全濟也。忽然間又感覺自己仍舊臥睡，一如先前，隨即就離了天界，下凡回家來了。」
因為這一番際遇太不尋常，河東鄉親皆呼項曼都為「斥仙」。這個故事，李白從小不陌生，在他想來，項曼都與自己都是經仙界斥逐的人，恐怕還真得耗盡在世為人的百數十年光陰，才能一窺自己遭受斥逐的緣故。而無論如何，這樣的人，儘管不能並世相處，比肩攀交，可是他們的命運、性格宜乎攸同。
較諸其他遭遇，李白更重視故事裡的「流霞杯」—此三字在詩中固非泛泛妝點修飾之辭，更是近世以來上清派道者到處闡揚的一種法義，也是李白在江陵城天梁觀親自接聞於司馬承禎者，彼時老道士所論講的，正是辟榖之人飲水吸風的練氣之法，由此漸進有功，終至於絕粒不饑，也就不為食慾所控制了。從這個理路上去看「余配白毫子，獨酌流霞杯」十字，作者一方面暗示了太白藥之本事，一方面也借由錯雜交織的神仙故事，將自己對辟榖導引一派道者之推戴、對來去自如年壽綿永的神仙之企慕，都巧為化用了
全詩結句在「八公攜手五雲去，空餘桂樹愁殺人」，轉用的是淮南王劉安（一說為淮南小山集團）的詩句，詩題《招隱士》，其詞有云：「桂樹叢生兮山之幽，偃蹇連蜷兮枝相繚。」以及「攀桂枝兮聊淹留，虎豹斗兮熊羆咆。」然而，桂樹，不只是劉安升天途中令他攀牽不捨而稍事停留的樹木，此樹早在《說文》中已明注為「百藥之長」，嵇康的侄孫嵇含著《南方草木狀》即云：「桂，出合浦生必以高山之巔，冬夏常青，其類自為林，間無雜樹。」
類以群分而有可同之群，固然是生物習性；轉喻到人事上類以群分卻不能同其群，卻成了桂樹在此詩中寄托愁慨的原因。說《白毫子歌》表達了羨慕神仙之道，則過於膚淺。不如說李白所企羨的，更是淮南王劉安之成仙，並不孤獨，他還有八公為其道侶簇擁相持而去，若瓊花然，這是何其歡愉的人生際涯？可是反觀李白，卻注定是一株不群之桂。原因無他：在商賈陣中，他沒有道侶在士人行中，他沒有地位—只能眼睜睜地看著八公及淮南王直入雲霄，此固結句之惆悵也。