嶗山的下清宮有株耐冬，高兩丈，粗十幾圍，枝繁葉茂；另有一株牡丹，高一丈多，開花時璀璨似錦。
膠州人黃生住在下清宮中讀書。一天，從窗中見到一個白衣女郎一閃而過，心裡懷疑道觀中哪有這等美人，跑出來觀看，但美人已經消失在花叢中。黃生便藏身樹叢中，等待她的到來。不久，女郎又帶了個穿紅衣的同伴一起來了，都極為漂亮。兩人逐漸走近，穿紅衣的後退說：“這裡有陌生人！”黃生突然起身，兩個女郎嚇得急忙奔跑，裙衫飄拂，香風洋溢。追過矮牆，什麼都不見了。黃生深深地愛慕她，便在樹下題詩說：
無限相思苦，
含情對短窗。
恐歸沙吒利，
何處覓無雙？
回到書房苦想麗人的身影。女郎忽然進來，笑著說：“你氣勢洶洶好像強盜，令人可怕。不知道你還是詩人，不妨一見。”黃生驚喜地接待她，叩問生平，她回答：“我小名香玉，原是平康巷中的人，被道士關在山中，確實不是我所願意的。”黃生問：“道士叫什麼名字？一定要為你洗雪這恥辱。”女郎說：“不必，他也不敢逼迫我。借此機會和風流雅士幽會，也很適意。”黃生又問：“穿紅衣的是誰？”女郎答：“她名叫絳雪，是我的義姐。”兩人夜晚就親熱起來。
等到睡醒，旭日臨窗。女郎急忙起床，說：“貪歡忘記天亮了。”一邊穿衣著鞋，一邊說：“我和你一首詩，不要見笑：良夜更易盡，朝暾已上窗。願如樑上燕，棲處自成雙。”黃生握著她手腕說：“你秀外慧中，令人愛得要死，但你離開一天，就好像千里分別。你一定要抽空來此，不要等到晚上。”女郎答應了，從此早晚都到。每次讓她邀請絳雪來，就是不來，黃生覺得遺憾。女郎說：“絳姐性情特別孤傲，不像我這般癡情，容我慢慢勸駕，不必太急。”一天晚上，香玉淒慘地進來說：“連隴地都不能守住，還想要得到蜀嗎？如今要長久分離了！”黃生問：“為什麼？”她用衣袖拭淚，說：“這是定數，不便和你說。以前的詩作，如今竟成了讖語。‘佳人已屬沙吒利，義士今無古押衙’，可以說是為我吟詠的。”盤問她又不說，只是嗚嗚大哭，整夜都不睡，清早就離去了。黃生覺得奇怪。
第二天，有個即墨人藍某到下清宮遊覽，他很喜歡白牡丹，便挖走了。黃生這才知道香玉就是花妖，悵恨不已。過幾天，聽說藍某把花移栽到家中，便一天天凋謝了。黃生痛心氣憤極了，寫《哭花》詩五十首，天天在花坑邊哭泣。
一天，黃生遠遠見一紅衣人在花坑邊哀泣，慢慢走近她，她也不迴避。黃生便拉著她袖子，相對流淚。後來請她進了書房，進一步交談，她歎息道：“從小的姊妹，一時就斷絕了！看到你哀傷，更添我的悲痛。淚灑九泉，或許會感動她再生。但死去的她神氣已散，倉促間怎麼能和我們兩人一同談笑呢？”黃生說：“因我命薄，妨害有情人，本也沒福氣享受兩個美人。以前曾多次煩請香玉傳達我的一點誠心，你怎麼總是不來？”她說：“我以為青年書生，十分之九薄情，想不到你卻是個情種。但我和你交往，是憑情感，而不是婬亂。如果每天親暱，那是我不能做到的。”說完就告別。黃生說：“香玉久別，使我寢食俱廢。請你稍留一下，來安慰我的思念，為什麼要這麼絕情呢！”她便留下，住一夜才走，好幾天不再來。黃生面對冷雨幽窗，苦思香玉，輾轉床頭，淚水凝結在枕席上。他披衣起身，點燈步前韻寫道：
山院黃昏雨，垂簾坐小窗。
相思人不見，中夜淚成雙。
黃生把詩寫完，大聲吟詠。忽然窗外有人說：“寫詩不能沒有人和詩呀。”一看，原來是絳雪，開門讓她進來。絳雪一看詩，便在詩後寫道：
連袂人何處？孤燈照晚窗。
空山人一個，對影自成雙。
黃生一讀，淚水直流，只怨恨相見太少。絳雪說：“我不能像香玉那樣熱情，只能稍稍慰藉你的寂寞罷了。”黃生要和她交歡，她說：“相見談心，心願已足，何必要如此？”
從此，每當黃生無聊時，絳雪就來一次，一來便飲酒作詩，有時不睡就走，黃生也聽之任之，他說：“香玉是我的愛妻，絳雪是我的好友呀。”他問絳雪：“你是院中第幾株？請早點告知我，我將抱回家中培植，免得像香玉那樣被壞人搶去，遺恨終生。”絳雪說：“故土難移，告訴你也沒好處。妻子還不能跟你一生，何況朋友呢！”黃生不聽她的，拖住她手臂出來，每到一株牡丹下，就問：“這是你嗎？”絳雪不說話，掩口微笑。到了臘月，黃生回家過年。忽然夢見絳雪來到，淒傷地說：“我有大難！你快去還能相見，晚了就來不及了！”醒來覺得奇怪，急忙騎馬連夜趕到嶗山。原來是道士要建房，有一株耐冬，妨礙他們挖基，工匠準備用斧頭砍掉它。黃生急忙阻止他們。到夜晚，絳雪來感謝他。黃生笑著說：“以前不如實告訴我，才遭受這樣的劫難！我如今知道你在哪裡了，如你不來，我一定要燒艾條烤你。”絳雪說：“我就知道你會這樣，因此以前就不敢告訴你。”坐了一個時辰，黃生說：“如今面對好友，更加思念愛妻。很久沒哭過香玉，你能跟我一起憑弔嗎？”兩人同去花坑邊祭祀。哭到一更多時間，絳雪才揩乾淚水勸住黃生。
這晚，黃生正寂寞坐著，絳雪笑著進來說：“告訴你個好消息，花神被你的誠心感動，讓香玉再降生宮中。”黃生問：“什麼時候？”絳雪答：“不清楚，大約不久了。”天亮下床時，黃生囑咐她：“我為你來到這裡，你不要常常使我覺得孤寂。”絳雪笑著答應。兩晚沒有來，黃生便去抱住耐冬樹，邊搖動邊撫摸，多次呼叫都沒回聲。回房對著燈搓一根艾條，準備去燒樹。絳雪急忙進來，奪走艾炷扔掉，說：“你惡作劇如果傷了我，我一定和你斷絕！”黃生笑著擁抱她。還沒坐穩，香玉輕盈地走進來。黃生望見她，淚水淋漓，急忙起身拉著香玉，另一手拉著絳雪，相對著悲傷。黃生握住香玉的手覺得空虛，就像沒有握著一樣，驚奇地問她。香玉流淚說：“過去我是花仙，所以形體凝結；如今我是花鬼，所以形體離散了。如今雖然相聚，只能當做夢看罷了。”絳雪說：“妹妹來就太好了！我被你家男人糾纏死了。”便獨自離去了。(鬼大爺:http:///轉載請保留!)
香玉仍像從前那麼溫柔歡笑，但是互相依偎時彷彿用身體接近影子。黃生鬱悶不樂，香玉也時時怨恨自己，便說：“你用白蘞的碎屑，拌少許硫磺，每天燒我一杯水，明年這一天報答你的恩情。”第二天，黃生到老地方一看，牡丹已萌芽了，便每天灌溉培植，又建雕欄保護。香玉夜來，加倍感激他。黃生打算把牡丹移栽到家中，香玉不同意，說：“我很脆弱，不能再忍受傷害。況且萬物生存各有固定的地方，違背這些，反而會縮短年壽。只要你憐愛我，歡樂團聚自然不遠了。”黃生可惜絳雪不來，香玉說：“一定要讓她來，我能做到。”便和他點燈到耐冬樹下，拔下一根草莖，用手作尺子度量樹幹，從下往上，按住四尺六寸的地方，叫黃生用兩手一齊搔樹。一會兒就見絳雪從背後出來，笑著罵道：“丫頭一來，助紂為虐嗎？”便挽著手一同進房。香玉說：“姐姐不要責怪！暫時請你陪陪我丈夫，一年後就不打攪了。”從此習以為常。
黃生看著花芽，一天天茁壯成長，春末已有兩尺左右高。回家時，便給道士贈送銀兩，囑咐他每天培養。第二年四月到宮中，見一朵花含苞欲放。正在觀賞時，花苞搖動，就要裂開，不久就開放了。花朵有盤子般大，儼然有個小美人坐在花蕊中，估計身高有三四指左右，轉眼間飄然而下，原來是香玉。她笑著說：“我忍受風雨等待你，你為什麼來得這麼遲呀！”絳雪也來了，笑著說：“天天代人作媳婦，如今幸好退下來做朋友。”三人一起設宴交談，到深夜絳雪才走。黃生和香玉同睡，融洽仍如從前。後來黃生家中的元配死了。他就住到嶗山不回家。這時牡丹已長得像手臂那麼粗了，黃生每每指著花說：“我死後寄魂在這裡，一定長在你左邊。”兩個姑娘笑著說：“你不要忘了。”
十多年後，黃生忽然病倒。他兒子前來探望，痛哭不已，他笑著說：“這是我出生的日子，而不是我死亡的日子，為什麼要傷心？”他對道士說：“日後牡丹下有紅芽茁壯生長，一下長出五片葉子的，那就是我。”兒子運他回家，不久就死去了。第二年，牡丹下果然有壯實的嫩芽突然長出，葉子也像他說的那麼多。道士覺得奇怪，更慇勤給它澆水。三年後，長了幾尺高，碗口粗，但不開花。老道士死後，弟子們不知愛護，把它砍掉了。白牡丹也枯萎凋零，沒多久耐冬也死掉了。