唐玄宗時期，李林甫專權，把持朝政。身為東宮侍讀的薛令之對李林甫的做法非常憤慨。他曾寫詩諷刺李林甫，勸諫唐玄宗。李林甫因此非常痛恨薛令之，處處排擠，時時打壓。可想而知身在東宮的薛令之會有多麼壓抑。
東宮侍讀最主要的任務就是陪太子讀書，事情不多。一天，薛令之閒來無事，有想到李林甫弄權誤國，自己常受其打壓，為了紓解鬱悶的心情，他提筆在辦公室的牆上寫了一首詩：朝日上團團，照見先生盤。盤中何所有？苜蓿長闌干。飯澀匙難綰，羹稀箸易寬。只可謀朝夕，何由度歲寒？他在詩中把李林甫比喻為苜蓿，說連苜蓿這種馬吃的飼料都能當作蔬菜擺上餐桌，這日子該怎麼過下去？
一天，唐玄宗到東宮去檢查太子的學業。恰好薛令之不在辦公室。玄宗就去溜了一圈，抬頭就看到薛令之寫在牆上諷刺李林甫的詩。但唐玄宗誤解了詩句的意思，他認為薛令之這是假托飯菜不好，抱怨皇帝讓他閒居冷曹，不重用他。玄宗對此大為不滿，居然有人膽敢明目張膽題詩諷刺我，真是吃了豹子膽了。但唐玄宗畢竟比朱元璋開明，他並沒有把薛令之怎麼樣。而是拿起筆來在薛詩後面和了一首。玄宗寫道：啄木嘴距長，鳳凰毛羽短。若嫌松桂寒，任逐桑榆暖意思很明白，用今天的話說就是你如果嫌棄伙食不好待遇太差，你可以另謀高就啊！
第二天，薛令之看到玄宗皇帝的和詩，彷彿是受到了當頭棒喝。他思索了幾天，聯想到李林甫的種種作為和自己所收到的打壓，便對官場心灰意冷，萌生了辭職回家的念頭。他給玄宗皇帝上了道奏折，說自己最近經常生病，無法正常工作，希望皇帝允許辭官返鄉。唐玄宗看了薛令之的奏折，也沒有多想，便批准了他。薛令之兩袖清風，在朝為官30多年，沒有存留有任何金銀珠寶，辭官之後「徒步」回鄉。薛令之回鄉後隱居於靈谷草堂，過著鑽研經書、抱甕灌園的生活。
身在京城的玄宗皇帝偶爾還會想起他的這個大臣，問一問他的情況。當他得知薛令之生活清貧的時候，「心甚憐之」，曾下詔用長溪(薛令之是長溪人)的歲賦資助他。從薛令之不得已辭官回鄉一事可以明白劣幣驅逐良幣這一亙古不變的道理。在整個玄宗朝，被李林甫驅逐的可不止薛令之一人。一個容不下人才的朝廷，到頭來結果可想而知。