三月初三是黃粱夢呂祖廟大會，當初盧生一枕黃粱，傳聞極廣，所以廟會人也特別多。有個名叫吳禮的無賴也在這裡閒逛，他一會搶人家一條雞腿，一會偷人家一個蘋果，知道他的人，見了他都遠遠地躲著他。
吳禮轉來轉去，忽然看見一個白髮老人和一個青年書生在下棋，吳禮擠上前看了一會，發現這兩個人的棋藝極差，於是就在一邊罵罵咧咧地給這個支一招，給那個支一招。白髮老人不高興了對吳禮說：「你要下得好，咱倆來一盤？」吳禮輕蔑地說：「你這麼一大把年紀了，就這兩下子還要跟我下？」老人說：「我若輸了，給你一千兩，你輸了呢？」吳禮想也不想：「隨你處置。」吳禮想這一千兩我拿定了，萬一輸了，我一走了之，你奈我何？吳禮十步之內就輸了，正要拔腿開溜，被老人喝住：「輸了為何就走？」吳禮理也不理，只見老人嘴裡冒出一口白霧，青年書生將白霧點在了吳禮的頭頂上。吳禮就像頂著千斤巨石，一下撲倒在地。
等吳禮慢慢醒來，人們發現他比原來矮了三分，「吳禮矮三分」。就在這個廟會上傳開了。再說那一老一少，原來就是呂祖和盧生，吳禮倒楣今天耍無賴，耍到他們頭上了。
傳來傳去，「吳禮矮三分」，傳成了「無理矮三分」。意思是：若沒有真理，人也會顯得矮點。