傳說米芾在安徽無為縣任縣令時，曾巧斷過這樣一件案子。
有個做買賣的李老漢，上縣衙哭訴三家鄰居賒欠了他的貨款，賴賬不還：一個鄰居叫侯山，說要進一批山貨，將李老漢的銀子全借走了；另外兩個鄰居叫馬有德和朱進城，說要幫李老漢換貨，將他店裡的貨物悉數拿走了。但都是銀兩有借無還，貨物有出無進，搞得他身無分文。
米芾便把三個鄰居找來對質，他們都異口同聲：「生意人講究的是貨銀兩訖，即使賒欠，也有憑證，他無憑無證，純屬誣告。」
李老漢連聲叫屈：「大老爺明鑒，這三個惡鄰欺小人目不識丁，所立借據都是偽證。幸虧我旱作防備，記下賬目，請大老爺審查。」說著呈上一卷畫。
三個鄰居也不相讓，說道：「這種瞎塗亂畫算得了什麼賬目？」
米芾拿過畫卷一看，見幾幅畫雖然畫得都很粗糙，但形象可辨。他端詳了一會兒，就頻頻頜首，若有所思，對三個鄰居說道：「這畫卷，可是真憑實據，鐵證如山，你們休得抵賴。」
三個鄰居還是不認賬。米芾指著一幅畫說：「這裡有隻猴子背靠著一座大山在吃山貨。難道不是你侯山賒欠他銀子做山貨生意嘛？」
然後，他指著另一幅畫說：「這匹馱貨的馬，蹄下有個嬰兒，但是馬屈著腿沒有往嬰兒身上踩下去，這不就是馬有德行嗎？這馬馱的貨正是你馬有德搬走李老漢的貨物。」米芾又指著一張畫說：「看這頭豬在城門內拱食，這些食物都是人們吃的東西，明明指出你朱進城從李老漢店中搬走的貨物。」
在審理此案時，米芾特地將李老漢的街坊鄰居都找來旁聽。其中不乏有正義感的人。因為以前他們覺得李老漢拿不出賬目，又講不出畫中的內容，所以有話也不敢說。現見米芾一眼看透了事實的真相，也就紛紛出頭作證，說他們曾耳聞目睹過三人向李老漢借過銀兩，搬過貨物。而三人生意越搞越興旺，李老漢卻變成了個窮光蛋。
米芾對著侯山等人斥責道：「物證、人證俱在，你們還有何說？」
侯山、馬有德、朱進城三人見抵賴不過，只得當堂將本息全數歸還給李老漢。李老漢收回本錢，重整旗鼓，生意又興旺起來。