蘇軾被貶湖北黃州後，黃州的徐郡守雖有監督蘇軾的責任，但他認為蘇軾是個人才，因而對他很好，任由他自由自在地往來於附近各地。
有一天，蘇軾在東坡雪堂喝得酩酊大醉，糊里糊塗地獨自返回住地臨皋。他醉醺醺地回到臨皋時，早就半夜三更，夜深人靜了。這時，他戴的帽子也不知丟到哪去了。只見他披頭散髮，歪歪斜斜地走到門前，敲了半天門也沒開。他側耳一聽，聽見家僮鼾聲如雷，睡得正香呢。
於是，蘇軾站在門前，對著夜空，放聲高唱起來：「夜飲東坡醒復醉，歸來彷彿三更。家僮鼻息已雷鳴，敲門都不應。倚仗聽江聲。長恨此身非我有，何時忘卻營營？夜闌風靜紋平。小舟從此逝，江海寄餘生。」
第二天早晨，黃州的大街上就傳說蘇軾昨夜唱完《臨江仙》之後，就把帽子掛在江邊樹上，乘坐小舟走掉了。徐郡守得知消息，大驚失色，認為在自己管轄的黃州走失了「罪人」蘇軾是重大失職，還要被追究責任。為了落實這個消息真實與否，徐郡守趕忙到臨皋察看，原來蘇軾還酒醉不醒呢。