歷史上的紀曉嵐遠沒有電視劇上演的那般灑脫自如，當時他不但得了個「娼優大學士」的外號，其本人很多事也經常被人引為笑談。
乾隆時期，北京達官貴人們都嗜好淡巴菰(煙草)，乾隆當時尤其如此，煙癮很大，一天都離不開。後來乾隆突然無故咳嗽，太醫診治後說：「病源在肺，恐怕是吸食淡巴菰所導致的。」乾隆聽後便命太監不准再拿這個東西進來。過了一段時間後，咳嗽病倒好了，乾隆於是對淡巴菰極為厭惡，並勸告其臣僚也不要嗜好此物。
煙草其實是輕微的毒品，一旦吸食也很難戒除。紀曉嵐當時為翰林大學士，煙癮最大，人稱「紀大煙袋」。他並不理會乾隆的勸告，每日仍舊拿個特大煙袋，裡面貯滿煙絲，張口就吸，毫不顧忌別人感受。
有一天，輪到紀大煙袋在館中當值，他工作忙完，便把煙點上，剛美美的吸上兩口，突然間太監宣他進見皇上，紀大煙袋一著急，便把煙袋插入靴筒，隨後入朝覲見。不巧這次乾隆問的事情多，沒多久，紀大煙袋覺得腳上發熱發燙，但正被皇上問話，又不敢亂動，不料，他的靴子突然冒煙，原來煙袋的火沒有熄滅，結果把襪子給燒著了。紀大煙袋痛得要命，眼淚鼻涕直流。乾隆大驚，問他怎麼回事，紀大煙袋說：「臣靴筒裡走水」。(當時北方人把失火叫走水)
乾隆大笑，讓他立刻出去解決。紀曉嵐忍著痛，疾步跑到門外，把靴子一脫，裡面早已是皮焦肉爛，好不淒慘！讓人發笑的是，紀曉嵐平時走路特快，同僚們戲稱他為「神行太保」，這次被燒了以後，紀曉嵐一個多月都走路一瘸一拐，人又送綽號「李鐵拐」。
據說，後來乾隆過問此事，讓他為這事寫檢討。紀曉嵐好文才，援筆立就，裡面有這麼幾句：「褲焚，帝退朝曰：『傷脛乎？不問斗』」。這個馬屁拍得很到位，乾隆心頭一喜，便賜給他煙斗一枚，准其在館吸食，紀曉嵐也得意的說自己是「欽賜翰林院吃煙」云云。
紀曉嵐不但「欽賜吃煙」，而且還有一個「奉旨納妾」的故事。《棲霞閣野乘》中說，紀曉嵐自幼稟賦超於常人，能夜間視物，一日不御女，則肌膚欲裂，腳要抽筋。《蟲鳴漫錄》裡也說，紀曉嵐自稱是野怪轉身，不吃米，光以肉為飯，一日須御數女，五鼓入朝一次，歸寓一次，午間一次，薄暮一次，臨臥一次，一次也不能少，有時候乘興而幸，也是常有的事。
紀曉嵐在編輯《四庫全書》的時候，有幾天特別忙，一直在館中上班。由於幾天沒有碰女人，紀曉嵐兩眼暴赤，臉色血紅。乾隆皇帝在路上碰到他，見他這副模樣大吃一驚，便問他生了什麼病，紀曉嵐不敢隱瞞，便把實情托出。
乾隆大笑，後來派了兩個宮女給紀曉嵐伴宿。《四庫全書》編好後，又讓紀曉嵐把兩女帶回家中。紀曉嵐十分得意，經常在別人面前誇耀，自所謂「奉旨納妾」是也。
不過，乾隆也沒少戲弄紀曉嵐。乾隆有一次南巡來到金山寺，紀曉嵐也隨同在側。乾隆一時興起，想給金山寺題一個匾，但想了半天也沒想出什麼好名字，於是就取筆在紙上假裝寫了幾個字，便遞給紀曉嵐問：「你看這幾個字如何？」紀曉嵐拿過來一看，是無字天書，幸好他隨機應變得快，便說：「好一個『江天一覽』！」乾隆大悅，便重新拿起筆題了這四個字。(此是「江天一覽」故事的另一版本)
還有一次，紀曉嵐奉命在翰林院編纂《四庫全書》，因為工程浩大，紀曉嵐和同事們日夜趕工，時值盛夏，天氣酷熱，紀曉嵐身體肥胖又怕熱，往往汗流浹背，衣服盡濕。後來紀曉嵐乾脆把衣服除去納涼，同事的閣臣們也學他的樣子，脫了衣服在裡面工作。
後來這事被乾隆知道，便想去捉弄他一下。某天，乾隆有意走到翰林院，正好紀曉嵐和同事閣臣數人光著膀子在那裡談笑風生，大家見乾隆走了過來，慌忙穿衣不迭，紀曉嵐因為眼睛近視，一時間找不到自己的衣服，穿衣不及，慌忙中鑽到了椅子下面。
乾隆見了大樂，便一屁股坐在上面，紀曉嵐躲在下面喘息而又不敢動。乾隆在椅子上面坐了兩個時辰不說話，也不走。因為天氣酷熱，紀曉嵐不能忍耐，見過了那麼長的時間，便伸頭問同事們：「老頭子走了沒有啊？」
乾隆大笑，諸人也笑，乾隆讓紀曉嵐出來，故作不悅說：「紀昀無禮，何得出此輕薄之語？你要解釋得過去就放過你，要說不過去就殺你的頭。」紀曉嵐大為尷尬，說：「臣尚未穿衣。」乾隆便命內監代他穿上，又訓斥道：「你膽子不小，你為什麼叫稱朕為老頭子啊？」紀曉嵐眼睛一轉，說：『京城中人都是這麼稱呼皇上的啊，皇上叫『萬歲』，豈非老乎？君是『元首』，得非『頭』乎？皇上為天之子而子萬民，所以叫『子』啊。」乾隆見難他不住，便呵呵一笑走了。
紀曉嵐被乾隆捉弄，找到機會他也要捉弄捉弄和紳。有一次，和紳家修花園，建了個亭子，請紀曉嵐幫他寫個亭額，紀曉嵐揮筆而就，寫下「竹苞」二個大字，和紳見兩字寫得龍飛鳳舞，十分開心的把它給掛了起來。沒多久，乾隆臨幸和府參觀新花園，抬頭看見亭上的匾額，便問是誰寫的，和紳得意的說是請紀曉嵐寫的，乾隆大笑，說：「你上了他的當了！紀曉嵐這是在罵你家『個個草包』啊！」和紳氣得半死，又無可奈何。
紀曉嵐讀書多又天性詼諧，平時也愛講笑話故事，每次入宮當值沒事的時候，太監就喜歡纏著他講故事，紀曉嵐不勝其煩。有一次，紀曉嵐又被某太監纏上，讓他講個故事，紀曉嵐說最近沒故事，某太監非得讓他說一個，現在編也行。紀曉嵐便故作思索狀，說：「有了。說有一個人。」說完，便閉嘴盯著太監看。太監見他不說了，便催促道：「這個人下邊還有何事？」紀曉嵐說：「下邊沒有了。」太監知道被其揶揄，大笑而去。
紀曉嵐有一次為某詞林朋友的太夫人祝壽，朋友請他作首詩，紀曉嵐站了起來，清了清嗓子，眾人都作洗耳恭聽狀，紀曉嵐便道：「這個婆娘不是人。」眾人大驚，以為大不敬。紀曉嵐見效果達到，便從容續道：「九天神女下凡塵。」眾人一聽，讚這句說得好。紀曉嵐話鋒一轉，又道：「生下兒子去做賊。」眾人愕然，朋友也很是難堪。不料紀曉嵐笑道：「此子卻好，偷得蟠桃壽母親。」眾人聽後大樂，一時傳為佳話。
紀曉嵐是個聰明人，但他的聰明在當時往往被人視為可笑之物，這大概就是乾隆視紀曉嵐為娼優的緣故罷。