唐詩云：「昔人已乘黃鶴去，此地空餘黃鶴樓。」詩中的「昔人」指的大概是仙人王子安或費禕。不過，到了宋朝，黃鶴樓又與仙人呂洞賓聯繫到了一起。
傳說，有一個姓辛的老闆在蛇山上開了一家酒店。一位道士常常來喝酒，但從不給錢。辛老闆也不以為意。一次，道士臨走之前，用橘子皮在牆上畫了一隻黃鶴，如果客人對著黃鶴拍手，黃鶴就下來翩翩起舞。如此一來，酒店的客人越來越多，生意也非常興隆。
十年後，道士再次來到酒店，從腰間取出笛子，吹出悅耳的音樂。黃鶴徐徐飛出牆壁，道士騎上黃鶴緩緩飛走。據說，這位仙人就是呂洞賓。
為了紀念仙人和黃鶴，辛老闆出資在山上興建了黃鶴樓。後人每每登高至此，總會想起這美妙的傳說。