李衍不急於趕路，因為他知道：京中吏部那些個官人也不急於安頓他的前程。他在安州待了下來，就住在驛所之中，瞬逾旬日因為看起來，此間的確是安頓家小的一個好所在。以遷轉之間待職縣令的身份派人查訪，十分利便，很快就得著回音，李氏在當地的親族果然不少；也有經商的，也有作牙人交際九流的，也有擔任過多年胥吏，在地方上小有頭臉的，也有初入仕途、風標煥發，看似頗孚仕紳之望的。其中一人，年方弱冠，名字與當朝一大老相同，曰「令問」。
先是，大唐開國之初有名將李靖，系出隴西丹陽一房，佐高祖為行軍總管、撫慰大使，收嶺南近百州之地，領百萬之民，復大敗吐谷渾，封衛國公，堪說是位極人臣了。李靖有同母弟名李客師，與秦叔寶、程咬金、尉遲敬德同列，頗樹戰功，勞績勳猷，不減乃兄，累封至丹陽郡公。大約是在唐高宗永徽初年，才因年老致仕。
李客師厭征而好獵，近百歲無疾而終，死前不多時，猶能跨烈馬、挽強弓。他在京師昆明池南建築了一所別業，醉心於騎射，晝夜相從。京中人傳言：自長安城區而外，西至澧水，一鳥一獸都識得此翁，每當他親自出獵，漫天鳥鵲追飛噪鳴，山林間的小獸也紛紛出頭竄走，有如隨扈，人逕以「鳥客」、「獸師」的諢號呼之，而李客師也不以為忤。他是在總章年間一瞑而逝的，入睡前交代家人：子孫襲蔭，百代不絕，莫與人爭官爵，但於鄰近名山大澤之處，圈地買山，廣造園林，以花樹為名，收引飛禽走獸。直到他的孫輩，都還謹遵這一遺命—他們在長沙築杏園，在廬山築栗園，在安州築桃花園。李客師的孫子，就叫李令問。
開元天子當年還是臨淄王的時候，便與李令問相當熟稔。李隆基即位，李令問以協贊有功，遷殿中少監。開元元年，還襄佐誅殺竇懷貞，因而封為宋國公，實封五百戶。恩遇非比尋常，然而他始終沒有忘了祖父的教訓：若要官守綿長，就不能與人爭功斗業。於是明明是個寬肥軟弱的體格，卻也倣傚其祖，時時以遊獵自娛，無論騎在多麼威風的駿馬之上，都顯得沉重累贅，惹人譏訕不已。
李令問錦衣玉食而不干時務，外人視之，厚奉養，侈飲食而已。此時去武氏當國未遠，朝廷重臣仍沿襲著嗤鄙肉食之人的風氣，有人便勸諫李令問：「君宜少（稍）蔬食示人，毋為忌者笑。」李令問卻說：「此畜豢，天所以養人，與蔬果何異？安用妄分別邪？」
也就是大半年之前，吐蕃襲擾瓜州，轉攻玉門。河西節度使王君與鐵勒四部在皇帝面前互訴恩怨，王君佔得地利，先發制人指控：「四部難制，潛有叛計。」鐵勒四部無從申辯，誣服定罪其中回紇部原封瀚海大都督的承宗，被流放到瀼州。承宗的族子名叫護輸，乘勢糾合黨眾，斬殺了王君，載著他的屍身奔赴吐蕃雖然護輸隨即敗戰棄屍而逃，然而唐廷喪師，顏面盡掃，非窮究深責不可，輾轉攀牽，居然發現承宗一族有女與李令問的兒子結上了一門親事。
李令問當下被貶，至撫州任別駕，原本是從三品的中朝大員一落而至於從五品的外州隨官，李令問豈能不惱羞憤懣？到任不久，便一病不起。多年以來一路跟從李令問的一個歌姬，號明珠或恐憂心主家翁歿後自己無所托身，就在撫州邸中自縊殉主，此事相當罕見，當地耆紳還列之於地方志中，視為節烈。
考究事實，李令問與西北邊關糾絞盤錯的政務、戰局一點瓜葛也沒有，驟爾被逐，實遠出於中外之望。李衍當然也風聞久矣卻不敢置信，及至安州，他才從李氏宗親的談議間聽說了另一樁大事。原來李令問在安州當地所興築的桃花園或許也保不住了。
桃花園佔地不大，方圓數十畝，其間野生桃樹數千本，錯落自然，疏密有致。春來花枝齊放，殷紅淡緋，壯美之極。此地還有一溪如帶，蜿蜒自西北來，潺湲三折，復向東北而去，李令問承庭訓買此山川，當然不是為了行獵，而另有他日後歸隱林下的盤算就在鐵勒四部被控陰謀造反，而吐蕃贊普與突騎施蘇祿可汗共圍安西城時，有感於邊事變亂頻仍，他還有一首感時之詩，題為《秋賦桃園有懷》，與此園有關。詩是這樣寫的：
窮秋驅雁伴行吟，一任幽蹊自在陰。塞鼓紛紜猶似昨，芳枝零落到如今。騎羊志意歸雲夢，射虎聲名托野心。欲赴桃源無別語，差留閒墨付蕭森。
首聯描寫時序，正是王君與鐵勒四部相互攻訐起釁之際。「幽蹊」不消分說，自然寓有「桃李不言，下自成蹊」的意思，這蹊徑，指的無非是桃花園。「塞鼓、芳枝」一聯，分別側寫了本家祖上出身邊關，以戰功建勳業的來歷，以及李令問不能光大家族名爵的些許歎息或慚愧。
「騎羊」二字，顯然還是從劉向《列仙傳》記載周成王時羌人葛由刻木作羊、並乘木羊入西蜀綏山的故事而來。因為追隨葛由登山的王公貴人皆不復還，後人便以「騎羊」為得道成仙的代詞—這就表示李令問確實有一份親近道術、欣羨神仙的情懷。以下「射虎」二字，按諸李令問之祖李客師畢生射獵的事跡，也可以窺見李令問所歸心適志者，不在積極進取；其中「野心」二字，指的是閒散恬淡的性情，猶如《宋書·王僧達傳》所載：「爾時敕亡從兄僧綽宣見留之旨。闇疾寡任，野心素積，仍附啟苦乞且旋任。」
尾聯上承前六句作結，述說自己對於前途的瞻望，大約就是歸隱山林，閒著文墨。這本是所有身居要津者刻意作放曠之思的口頭禪，慨然有歸志，以示不戀棧功名權位，老生常談罷了。可是壞就壞在兩個關鍵的字眼：一個是「野心」，一個是「桃源」。
當台諫諸官拿李令問與回紇部的承宗聯姻作文章的時候，偏以為「射虎聲名托野心」足證是李令問不甘寂寞，要與前文中喧填塞鼓所從來處的鐵勒四部夷狄之人共謀，以圖恢復當年李靖、李客師一家「射虎」的霸圖。至於「桃源」，在字面上其來有自，原本是陶淵明的《桃花源記》。《桃花源記》裡索居於桃花源中之人是為了「逃秦」而自逐於武陵的。但是大唐太宗文皇帝在藩邸時即封秦王，逃秦，難道是要逃離李唐的江山嗎？
桃花園、桃花源，固不同義而巧為羅織成一義，實在欲辯無言李令問當時還不知道自己陽壽無幾，猶思不再招惹物議，以圖日後出入清安，遂於外放撫州就道途中，修書一封，飭令家人從速將安州桃花園物業重為安頓，把先前起造的幾棟樓宇都拆了，只留下臨水處三數亭台，並刻意間雜地栽種了千百株李樹，連園子的名目都改換了—桃花園從此改稱桃李園。李字既是樹木之名也兼表姓氏。
李令問本家之人多集居於雍州三原，以及長安、洛陽兩京繁盛之地，距離這一份別業，不止千里之遙，且多視此園為得罪之由以為大不祥。然而祖訓言猶在耳，家產又不能荒棄不問，如何保守的確是樁惱人的事。倒是在李令問病故之後，喧騰了一段時日，安州在地的李氏宗親卻給出了一個主意：桃李園畢竟不是野處，台榭得有人修葺守護，花樹也得有人栽植疏伐，可巧城南便有一家子弟名字也叫李令問，看來天意巧合，如能讓那年輕的李令問自以家資繕理園務，而使千萬株桃花李花春日繁榮，同兆兩郡家業昌興歲歲年年，不也是一樁美事？在安州諸李族親看來，當朝大員身後遺命，平白奉贈一片園林，這更是求之不得的事。於是桃李園之所歸隸，也就一拍即合。
李衍也看上了桃李園。
這是一個相當別緻的所在。信步遊觀，揣摩原先的主人翁，應該是個清懷肆志之人。當初指點起造時，有意節制房舍，並沒有尋常高門大戶人家那些復道重樓、雕甍畫棟的排場。從尚未拆除完竣的樓宇廢墟可以看出：每屋間架都不十分深廣，棟樑敷設較密，可見沒有擴充廳堂、大延賓客的需求。但是李衍卻想在此地大延賓客：他要借由這個園子，讓安州李氏宗親融入在地的名門士族；也要借由這個園子，讓他那有才無分、有學無求的侄兒李白融入安州李氏的宗親。
能讓桃李園在眾目睽睽之下，轉入新人之手，大聚地方名士，誠屬必要。李衍商借桃李園的事十分順利，邀集李氏諸家子弟也不難。唯獨於他姓士族也能與此高會，則實屬不易。可是出乎他意料之外，機緣送上門來—就在新正之日，驛長來報：有名薛乂者，號曰員外，攜酒來拜。
員外郎或簡稱外郎，或節稱員外。在南北朝時，專指那些近侍皇帝的員外散騎侍郎，密邇天顏，地位尊貴。到了隋代，便開始在六部郎中之復下設員外郎，以為庶務之推行實任，地位便忽然低落了。在唐代，此官位列從六品上，屬尚書省六部二十四司，仍為郎中的副貳。但是還有一種員外，是以看似謙遜的說法，掩飾身為地方胥吏的佐雜身份—稱員外者，不是真指員外郎，而是員額以外的省稱，這樣就模糊了胥吏低微猥賤的身份，卻也不能算是明目張膽冒充高官。李衍一看名刺上是員外，而無郎字，便推側對方與自己的出身並無二致了。
春正時節攜酒訪舊，本來是尋常；但是在這樣一個日子上，奉春酒於素昧平生之人，則必有請托。尤其是對方還先遣僕役送來了不多見的禮酒，分別有五提，各為容量三升之觶，堆放在門邊楹下裹以紅漆皮封。這表示送禮的人早在年前就準備妥當了，否則僅此一番裝飾的手腳，也得搬弄大半天。從壺中之酒，更看出來者極有誠意，那是上好新釀的屠蘇酒，觶壺週身綴滿了珠圓玉潤的水滴近旁地上也滲開了黑殷殷的水痕，顯示酒是密封之後，浸泡於井中相當一段時日，特為於此日打撈出來的。
當下李衍迎進禮酒，收執名刺，與來訪僕役約訂節後再見之期屆時薛乂果然依約而至。初看第一眼，李衍就覺得與此人頗為投緣—但看他頭頂淨巾，足踏雲履，一身淺藍單布袍，外罩玄素長帔，肘後懸劍似的掛著一柄紅傘，恰似一個眉目清朗的在家道士。
見面還說不上幾句寒暄的話，薛乂坦然道明來意：他是廣陵人的確如李衍所料，乃從胥吏出身；日後也和李衍履歷略同，經過流外入流的曲折，在荊、襄一帶州、縣，做過幾任縣尉、參軍，由於深慕道術，遂早早地棄職歸里，之後復遠遊天台山，投玉霄峰白雲宮司馬承禎為徒。
自客年夏、秋之間，薛乂即受命於宗師，四出雲遊，遍過昔年歷任官守諸州，俱是江南江北洞天福地，往來殊方道者，相期相交以辯以論，廣通妙談，結為盟好；這是上清派多年來的一樁始終未曾間斷的使命。除此之外，便中還要「訪一國士，作合一樁因緣」說到這裡，薛乂緩了口氣，四顧再三，才低聲道：「令侄李十二白便是某師所欲訪得的『國士』。」
「作合因緣？」李衍不覺有些訝然，歎道，「此子日夜歌酒成歡以為平生快意，不過如此。莫道以國士之業相許，即以常人婚娶稽之，恐亦不耐。」