有個叫黃玉山的人，生性機敏聰慧，可是家裡貧困，時常連讀書用的燈油也買不起，靠給人家畫像掙得一點錢，不過倒也遠近聞名。
剛好他到山西各地去遊玩，平陽太守桂公，籍貫是東海榮城人。他的母親已年過七十了，就請黃玉山給他母親畫像。
當時，還是初春，當天天氣陰晦寒冷，太夫人穿著貂裘大衣，帶著鳳凰帽子出來，顯得十分的貴氣，一群婢女環繞在她的四周，在太夫人旁邊坐著便是太守的女兒，也帶著貂裘帽子，遮蓋在頭上，穿著一身花團錦繡的大衣。
黃玉山手裡拿著比，不知怎麼話才好，想要丟開太守的女兒，她實在太耀眼，已深深映入他的腦海。筆拿在手上，跟著心思遊走，沒多一會兒，便畫成了一幅，捧上去給眾人觀賞，婢女們都說：“這是女公子啊！”
黃玉山也感到有些驚愕，自認為畫錯了，把畫收回來，又另外畫了一幅進奉，眾人才說神貌像是太夫人了。
畫好之後，太守桂公酬謝他很多銀兩。
黃玉山回到住處，取出起初畫的女子的像來，想著女子的容貌，又好好完善了一下，真是一位出塵絕世的美人兒。
一天晚上，黃玉山喝酒喝到半夜，拿起酒杯對著畫像說：“公子也來喝一杯吧！”
他話音剛落，便看到畫上的美人面頰紅潤起來，微微笑了幾下，黃玉山感到很奇怪。
從此，每次吃飯的時候，都不忘記去畫像面前禱祝一番。
一天傍晚下起了雨，黃玉山站到門外去觀賞雨景，聽到屋子裡發出簌簌的響聲，便靠著窗子向裡面窺視，見到一個姣好的女子，兩隻手托著下巴，正坐在桌子旁邊，和畫上的人很相像。
黃玉山掀開門簾，一下闖進去，不見有什麼人在哪裡，四處察看了一下，也沒有什麼蹤跡，心裡悵惘地躺在床上，看著女子的畫像，心裡默默地祈禱，希望她能下來，可心裡又不太相信她真能變成真人走下來。
接著，黃玉山感到有些睏倦了，就睡去了。
女子忽然來揭開他的帳子，帳子上的鉤子搖動，發出了響聲，黃玉山也就醒過來了，伸手一探視，溫如軟玉，於是，一把攬入懷裡。
女子道：“春雨凝寒，刺人肌膚，怎麼整天把我掛在牆上呢？明天早上，你應當收藏到溫暖的被子中了。”
黃玉山坐起來，抱著她，想要和她親熱。
女子道：“等一下，不要唐突了西子。你是一個風雅之人，請讓我考考你，看能不能對出我的對子。要是不能，還是不要有什麼企望。”
黃玉山道：“好吧，請出上聯。”
女子道：“多晴今得雨。”
黃玉山立即於是，便成了夫妻。
黃玉山問女子的姓名。
女子道：“我叫非非。”
黃玉山不相信她是太守的女兒，便問道：“太守是誰？”
非非道：“我的父親大人。”
黃玉山點了點頭，道：“好吧！你告訴我你怎麼到這裡來了的？”
非非道：“往日有韓壽偷香，女子之中難道就沒有像男子一樣的嗎？”
雞叫的時候，非非就離去了。
從此之後，非非每夜都來和黃玉山相會，和黃玉山談論詩文，都遠遠比黃玉山要好。
非非對黃玉山說：“我因為憐愛你的才華，才跑來依附你，可始終犯了私奔的醜行，要是被人察覺了，勢必難以在一起。要是郎君真的愛我，還要得帶著我一起逃離這裡。”
黃玉山道：“這確實是個好辦法，只是難以找到腳力。”
非非道：“這有什麼難的？”
早上起來，便有兩匹馬站在門外了，挖動著蹄子，昂著頭嘶叫。
黃玉山便整理了行裝，騎上馬，和非非並轡而馳，也不知道走了多少里路。接著，便走到了高低不平的山路上，道路隨著山勢彎折迂迴，然而，非非走在前面，黃玉山看著她走得很順暢，絲毫沒有感到艱難。
來到一處地方，一重重的院牆，屋脊上面雕鏤著各種貴獸，裡面種滿了樹木，顯得一派濃蔭。
黃玉山跟著非非騎馬進去，下了馬，把馬繫在樹上，然後走入廳堂之中。
一片鮮紅的地毯鋪在地上，像是個富貴之家，只是沒有一個人來應承。
黃玉山問道：“這裡是什麼地方？”
非非道：“是我的老家。只因為父親在外做官，很多年都沒有回來，沒有人料理，便顯得荒蕪了。”
一會兒，有一個老嫗送茶到來，接著，又把蠟燭點上。
非非道：“我喜歡居住在樓上。”
“可以。”黃玉山表示沒有意見。
老嫗拿著燈，就在前面帶路，沿著樓梯走上樓去。
黃玉山上到樓上，見那裡頗為寬敞，翻看架上那些舊有的書籍，上滿都標記有事桂家的東西，他問那服侍的老嫗，也說那裡是榮城，是桂公的故鄉，沒有什麼不同的說法。可黃玉山心裡還是有些疑團想不明白，他也懶得去想了。
在日常中，非非只叫老嫗一個人送食物給他們吃，不見其他的一個人到樓上去。
非非還常常勸黃玉山好好讀書，勉勵他圖謀上進，可是黃玉山始終是黃玉山，往往半半途而廢，讀一會兒，就坐不下去了，又喜歡見異思遷，這看一下，那看一下，常常在深更半夜之中，非非拿著女紅還在陪著他讀書，黃玉到了秋天的一個晚上，剛睡下去，忽然就聽到有人破門打進去，接著便有人舉著火把進去，很多手裡拿著器械。
黃玉山正準備叫喊，一個人忽然舉起一把白晃晃的刀子架在他的脖子上，他便不敢出聲了。
只見有幾個人，把非非的被子捲起來，連同非非也捲到裡面，捆好就抬著，並把屋裡有用的東西，席捲一空，然後就呼嘯著走了。
又把黃玉山綁起來，拉著他，讓他送他們到四十里之外的地方，才把他放了。
黃玉山一片狼藉，內心感到十分淒愴，找著路就回去了。
到了院子門口，門所得嚴嚴實實的，還打有封記，裡面則是一片荒蕪，顯得十分清寂。
問左右鄰近的人，又果然是桂公家的舊宅，那些人說，那宅子已十多年沒有人居住了，近來聽說桂公準備告老還鄉，回歸田里，想要重新修理舊宅，只是還沒有回來。
黃玉山又問：“幾個月前，他家的女兒曾經回來過嗎？”
那些都說：“沒見到。”
黃玉山悵然若失，知道相伴自己是鬼魅，即使是鬼魅，心裡對她也是戀戀不捨，無法忘記。
榮城本來就已靠近了海邊，黃玉山舉目無親，也沒有來幫助，想要回去，只能一路討飯，路上疲憊難忍，一個多月，才到達濟南，又開始畫畫拿到集市上去賣，掙得一些錢勉強度日，僅僅能讓自己有口飯吃，然而衣服只能穿著那些粗布麻衣。
重陽節那天，濟南千佛寺有很多女子到那裡去遊覽，黃玉山也隨著眾人到那裡去遊玩。
看見一個女子手裡拿著一張紅葉，正準備上車而去，然而揭開簾子的時候，頻頻看了黃玉山幾眼。
起初的時候，黃玉山沒有在意，等他剛明白過來，而車子早已走了，想著女子的神態面容，越想越覺得是非非。
黃玉山追上去，只見四周夜色已經降臨，四週一片瀰漫。
正在那裡躊躇，便撿到一張紅葉，上面有一首用髮釵刻成的詩：“莫非非即是，今既是非非。
既識非非是，非非是耶非”
黃玉山讀著不覺流下眼淚，怎麼也要趕上去尋找非非的蹤跡，遠遠地看著車架已駛入了山谷之中。
黃玉山也顧不得道路崎嶇，顛簸著走進山裡去。
大約二更天的時候，來到一個村子處。見一戶人家，屋子四面都是石塊砌在成的，並且牆面凹凸不平，也不見有什麼燈火，只有門後面有一盞閃爍著的燈火，裡面坐著一個老叟。
黃玉山走進去，詢問那老叟：“剛才有一架車子，是到哪裡去的？”
老叟聽了他的話黃玉山頓時口塞，不知道怎麼回答，過了好一會兒，才說：“我迷路了，想來跟著來借宿。”
老叟注視著黃玉山看了幾下，說：“老夫不是開旅店的。”把黃玉山趕出門，就把門關上了。
黃玉山不得已，就盤腿坐在門前的地上。
涼風之中帶著霜氣，夜裡石塊也冷了下來，黃玉山想著非非，便捧著紅葉嗚嗚地哭了起來，像清液裡野草中的蟲子鳴叫一樣，讓人感到淒涼。
門忽然開了，一個女子撐著燈籠出來查看，燈光照到黃玉山的臉上，女子道：“你不是黃郎嗎？”
黃玉山正準備站起來相認，然而，燈火已經滅了，已看不清眼前的女子是不是非非了。
黃玉山拉著女子，還想要哭泣，女子道：“不要悲慼，要是哭出聲來，你就沒命了。”
女子拉著黃玉山悄悄地走進屋去，室內的桌子上有一盞燈，黃玉山看清了女子正是非非，便淚如雨下，眼淚大顆大顆地流了出來，已沒有勇氣抬起頭來多看非非幾眼了。
非非拉著他，也哭泣著道：“奴家辜負郎君了！郎君自己不長進，不知道自立為人，只憑著一點技藝，到處碌碌無為，這怎麼能成一個家呢？所以，才讓你遭受這一場災厄。我也不是什麼太守的女兒，因為可憐你孤苦無依，因此才冒名相伴在你的身邊。實在是想成就你的好事，你為何自願甘心暴棄，而浪費時光呢？就算我和你廝守終身，一生也不過是一個畫士的妻子，這有什麼貴氣的呢？”
黃玉山對她說自己後悔了。
又聽到有人在敲，老叟已走出去了，女子一下又把等吹滅了。
黃玉山問為什麼，女子叫他不要出聲。
黃玉山從窗的縫隙中看見外面，看一個戴著紫金高冠的男子進去，看樣子，好像是尊貴的官員，直接走到了廳堂中。
女子指著黃玉山，用腳踩了兩下地面，說：“那是小姨的夫婿。你和他相比起來，不是相形見絀了嗎？”
於是，用袖子掩著臉隱隱哭泣起來。
黃玉山輕輕地說：“從此，我願意自立，再也不讓你蒙羞了。”兩人才共枕而眠，各自傾訴別離之情。
黃玉山朦朦朧朧地就睡去了。
等他醒來的時候，屋舍人影都不見了，只有他一個人躺在石塊上，大吃一驚，立即坐起來，發現身旁有一軸畫卷，和一錠黃金，畫就是他所畫的那幅太守女兒的畫，黃玉山看著畫，感到無限幸好，還留有金子給他，可以備辦行裝立即回家去。
黃玉山回到住處，把金子換成了錢，就上路回去了。
回去之後，發奮讀書，考取功名，不再說畫畫的事了。
也時常把非非的畫像掛在屋子裡，把她當做老師在一旁監督他一樣，常常讀完書之後，就對著畫像大哭，大哭過後，又立即讀書。
在鄉試、會試中連連高中，最後進入京師，進入翰林院為官。
有一個山東的張進士，和黃玉山一同被錄用，他知道黃玉山還沒有娶妻子，想要把桂家的表妹嫁給他。
黃玉山問那女子的裡居，果然是榮城桂公的女兒，覺得很奇怪，就答應了。
原來，桂公任期滿了之後，去京師辦理高老退休的事，在京師也拜見了張家的表兄張公，因為擔心榮城，地處偏僻，找不到好女婿，就擺脫他給自己的女兒選個夫婿，並把女兒非非留在了京師。
一天，非非和眾姊妹出奇華門去遊玩，泛著小舟，到河裡遊樂。
忽然岸上有一個女子呼叫她們，想和她們一起渡船，非非一行便把船靠過去，讓那女子上去。
女子上了船，忽然就不見了，眾人都感到很奇怪。
回去之後，非非的動作神情，頓時就改變了，變得異常的機靈，讀書作詞，當時造詣高深的行家，對她也刮目相看。文詞書章，拿來考察她，都不能考倒她。
和黃玉山訂好親之後，就選擇了一個好日子成親，張公給非非辦理婚事。
黃玉山到門去迎娶，鑼鼓喧天，異常熱鬧。
黃玉山迎娶非非回去之後，交拜行禮，進入新房，揭開非非的頭巾，看非非和前面的非非沒有什麼差別，儘管他想眼前的非非不是前面的非非。然而，不知道現今的非非，到底是不是前面的非非呢？他也分辨不清楚。
新婚之夜，非非見到了畫像，說：“畫還是和原先一樣，恐怕黃金早花費完了。”
黃玉山聽了她的話，感到很驚訝，她怎麼知道前面那假非非的事，便問道：“你是非非呢？還是不是非非？”
非非含笑對他說：“非非要是不是我，我怎麼知道非非呢？我實在不是非非，我本來就知道非非的事。”
黃玉山也糊塗了，不知道她說的是哪一個非非，就拿以前的事來問她，雨夜同床而眠，樓上督促他讀書，以及在山谷中留給他金子的事，非非都能清清楚楚地說出來。
黃玉山又詳細地追問。
非非道：“我和你初次相見的時候，見你落筆繪畫的時候，凝思不已，心裡已被你感感動了，因此，情情思就移到了畫上，等和你一起騎馬逃走，也是心裡想的事，把自己的情黃玉山才不再有什麼話說。
後來，非非回榮城看望父母，她的父母也不能分辨，問起閨中幼小時候的事，也都記得清清楚楚。