嶗山下清宮裡，有一株兩丈高的耐冬樹，樹幹粗壯得幾個人合抱才能圍過來；還有一株牡丹，也有一丈多高，花開時節，絢麗奪目，宛如一團錦繡。膠州黃生愛上這個道觀的清幽雅靜，便借住一個房間作了書齋。
一天，黃生正在書齋中讀書，偶然抬頭向窗外一望，遠遠看見一個白衣女郎的身影在花叢中若隱若現。黃生想，道士修煉之地哪來的女子呢？便急走出書齋看個究竟，女郎卻早已無蹤無影了。但此後又有幾次看見女郎出來，黃生便預先藏在樹叢裡，等候女郎再來。不一會兒，女郎果然來了，身旁還有一個紅衣女郎陪伴著。黃生望去，兩個妙齡女郎，紅白相映，光彩照人，真是艷麗雙絕。女郎愈走愈近，突然，紅衣女郎停住腳步，一邊後退一邊小聲說：「這裡有生人！」黃生不肯錯過機會，猛撲過去，兩個女郎嚇得扭頭便跑，裙衫長袖飄舞起來，傳來一陣濃郁的香氣。黃生追過短牆，女郎們倩影又消失了。黃生愛慕極了，便提筆在樹上寫了一首絕句：無限相思苦，含情對短窗。恐歸沙吒利，何處覓無雙？
他邊想邊走進書齋，白衣女郎忽然笑盈盈地走了進來。黃生又驚又喜，起身相迎。女郎笑著說：「瞧你剛才氣勢洶洶像個強盜，怪嚇人的；沒承想原來是個風流儒雅的詩人呢，那就不妨會見會見了。」黃生問起她的身世，女郎說：「我叫香玉，本是妓院中人，被道士幽閉在這山中，實在並非心甘情願的。」黃生忙問：「道士叫什麼名字？我一定替您洗雪恥辱。」香玉說：「不必了。他也沒敢逼我。我趁此機會跟您這位風流文士常來幽會，倒也不錯呢。」黃生又問那位紅衣女郎是誰，香玉說：「她叫絳雪，是我的義姊。」兩人愈談愈親密，當夜香玉便留宿在黃生的書齋裡。第二天醒來，已是紅日臨窗。香玉急忙起身，說：「這真是貪玩忘天曉了！」一邊穿衣，一邊高興地對黃生說：「我也湊了一首詩，算是對昨天您的大作的酬和吧，請勿見笑：良夜更易盡，朝暾已上窗。願如樑上燕，棲處自成雙。」
黃生一聽，喜出望外，握住香玉的手說：「您原來秀外慧中，漂亮而又聰明，真叫人愛死！離了你一天，真如千里之別。您務必抽空就來，不必等到晚上啊！」香玉答應著。從此二人每夜必會。黃生還常求香玉邀絳雪來，絳雪卻總是不來，黃生頗覺遺憾。香玉只好安慰他：「絳姐的性情落落寡合，不像我這麼癡情。你得容我慢慢勸他，不要性急呀!」
一天晚上，香玉突然闖進書齋，滿面淒慘地對黃生說：「你連『隴』都守不住，還望『蜀』呢。咱倆永別的日子到了！」黃生大驚：「這是怎麼說？你要到哪裡去？」香玉用衣袖擦著淚，泣不成聲地說：「這是天意，很難給你說清的。反正當初的詩句今日應驗了。『佳人已屬沙吒利，義士今無古押衙』，可以說是為我而吟的了。」黃生一再追問究竟是怎麼回事，香玉就是不肯明言，只是嗚嗚咽咽，哭個不止。這一夜兩人通宵未眠，天剛透亮香玉就走了。黃生感到十分奇怪，惴惴不安。第二天，一個姓藍的即墨縣人到下清宮來遊覽，見到那株白牡丹，十分喜愛，便把它挖走了。黃生這才恍然大悟，原來香玉是牡丹花妖，於是感到悵惘，而又十分惋惜。
過了一些天，黃生聽說那位姓藍的把牡丹花移植到家中，牡丹花卻一天天枯萎了。黃生痛恨極了，寫了哭花詩五十首，天天跑到白牡丹原來的坑穴邊上痛哭憑弔。一天，憑弔完畢，正在返回書齋，遠遠望見紅衣女郎絳雪也在牡丹穴邊憑弔。黃生便慢慢走過去，絳雪也不躲避；黃生近前拉住她的衣袖，兩人相對流淚。站了一會兒，黃生邀絳雪到書齋一敘，絳雪便跟著來了。絳雪長歎一聲，說：「從小要好的姐妹，竟然一旦斷絕了。聽到你的哭聲，我更悲痛。你的眼淚流到九泉之下，也許她會為你的誠心感動而復生呢。可是死者精魂開始消散，短時間內怎麼能跟我們一塊兒談笑啊？」黃生也歎息說：「都怪小生命薄，妨礙了情人，當然更無福氣消受雙美了。從前我多次托香玉轉達我的熱忱，為什麼您不來見我呢？」絳雪回答說：「我以為年輕書生，十有八九是薄情兒，不知你原來是個至性至情的人。不過你我相交，只在友情而不在淫樂。如果一天到晚總是卿卿我我，那我是辦不到的。」說罷就要告辭，黃生趕緊上前攔住，說：「香玉長別已使我廢寢忘食。全靠您陪我一會兒，我才得到一些安慰，您怎麼能如此絕情呢？」絳雪無奈，只好留宿一夜，走後還是多日不見回來。黃生獨自面對窗外淒冷的雨絲，苦苦思念著香玉，夜裡輾轉反側，眼淚灑滿了枕席。淒苦難奈之際，便披衣起床，挑亮燈燭，按照前首詩的韻腳又寫起來：山院黃昏雨，垂簾坐小窗。相思人不見，中夜淚雙雙。
寫成之後，正在低吟，忽聽窗外有人說：「有作詩者便應有和詩者呀！」一聽就知道是絳雪，黃生急忙開門迎接。絳雪看看書案上的詩，順手提筆在後面續了一首：連袂人何處？孤燈照晚窗。空山人一個，對影自成雙。
黃生讀了和詩，又流下淚來，也更埋怨與絳雪相見的次數太少了。絳雪勸解說：「我不能像香玉妹子那麼熱情，只不過多少安慰一點兒您的寂寞罷了。」黃生想同她親熱，絳雪不同意，說：「聚首的歡樂，何必這樣呢？」從此，每當黃生孤獨難奈時，絳雪便來一次，來了也不過是與黃生飲酒作詩，有時不過夜便走了。黃生也只好由她，因此常常對她解嘲說：「香玉是我的愛妻，絳雪您是我的良友啊。」黃生總想問絳雪：「您是院中第幾株？希望早告訴我，我要把您移植到我老家去，免得像香玉似的又被惡人搶去，讓我遺恨一輩子。」絳雪說：「花木像人一樣，故土難離，告訴你也無益。你跟愛人還不能白頭偕老，何況朋友呢？」黃生不聽，拉著她的臂膀來到院中，每到一株牡丹花下，就問：「這是您吧？」絳雪掩口笑笑，不作聲。
不久，臘月將盡，黃生回膠州老家過年。到了二月間的一個晚上，忽然夢見絳雪來了，愁容滿面對他說：「我要遭大難了！您趕緊來，還能見上一面，晚了就來不及了！」黃生驚醒後，詫異萬分，急忙命僕人備馬，星夜趕到嶗山下清宮，看見道士要蓋房屋，地基上有株耐冬樹妨礙動工，工匠們正要刨樹呢。黃生急忙上前阻止。到了夜間，絳雪到書齋來表示謝意。黃生笑了說：「誰叫你從前不告訴實情來著！就該遭這場災難！現在我算知道你的底細了。如若你再不來，我一定點一把艾草烤你。」絳雪歎息一聲說：「就因為知道您要這樣，所以我以前才不敢實說呢。」兩人對坐一會兒，黃生又想念起香玉，對絳雪說：「目下面對良友，就更思念艷妻了。這一回家，很久沒去憑弔香玉了。您能陪我去哭她一場嗎？」於是二人一同走到牡丹穴邊，流淚悼念了好長時間。大約一更過後，先是絳雪收淚勸慰，黃生才止住悲痛。
又過了幾天的一個晚上，黃生正在書齋中寂然獨坐，絳雪忽然笑著快步走進來，說：「報告您個好消息：花神為您的至情所感動，要讓香玉再次降生到這下清宮中來啦！」黃生一下站起來，又驚又喜地問：「什麼時候？」絳雪說：「那可不知道。大約總不會太久吧！」第二天清早，絳雪臨走時，黃生拉住絳雪囑咐說：「我這一回可是為你才回下清宮來的，你可別老讓人孤零零煎熬啊！」絳雪笑笑，答應著走了。
過了兩天，絳雪並沒有來。黃生便跑到耐冬樹下，擁抱著樹，搖動著，撫摩著，低聲呼喚絳雪的名字。但是沒有回聲。黃生便跑回書齋，抓起一把艾草，在燈下捆紮起來，準備去烤灼耐冬，逼絳雪出來。正捆紮間，絳雪突然闖進來，奪過艾草一扔，生氣地說：「你要惡作劇，給人烙個瘡嗎？我要跟你絕交了！」黃生笑了，上前擁抱住她。兩人剛坐下，香玉忽然笑盈盈，悄沒聲息地進來了。黃生抬頭一見，登時熱淚盈眶，急起身拉住她的手。香玉一手拉著黃生，一手拉著絳雪，三人相對悲泣一陣。就坐之後——真奇怪，黃生覺得自己的手掌空空的，好像並沒有握著什麼一樣，便驚奇地問香玉，香玉流淚回答說：「過去我是花中的神，所以凝實，有形體；現在成了花中的鬼，所以虛若無物了。今天我們雖然能夠會面，你不必以為是真的，只當作夢中相會吧。」倒是絳雪在一旁說：「妹子來得太好了，我快要被你家男人糾纏死了！」說罷告辭而去。香玉和黃生繼續談笑敘情，黃生覺得她像從前一樣親切可愛，可是親近偎倚之間，總像影子一般虛幻縹渺，因此悶悶不樂，香玉也深感遺憾，就告訴他：「你用白蘞碎末摻些硫磺再兌上水，每天往我原先的穴坑裡澆一杯，明年今日便可報答你的恩情了。」說罷，也告辭而去。
第二天，黃生到白牡丹穴邊一看，果然冒出牡丹嫩芽來了。黃生便按照香玉的囑咐，天天澆水、培土，還在四周修起一圈雕欄護著它。香玉晚間來時，對黃生十分感激。黃生打算乾脆把牡丹移栽到老家去，香玉勸阻說：「不，我現在體質太嫩弱，經不起折騰損傷了。況且，萬物生長，各有定所。我本來是不該生長在你膠州老家的，違背了反而促短壽命。只要咱倆相親相愛，合好的日子自然會到來的。」黃生又埋怨絳雪不來，香玉說：「你一定要她來，我有妙法。」說著便領黃生舉著蠟燭來到耐冬樹下，她先撿起一根細草，張開手沿樹身自下而上量到四尺六寸，按捺住這個部位，讓黃生雙手一齊給樹撓癢，很快就見絳雪從樹後繞出來，笑罵著說：「死妮子真壞，剛回來就助紂為虐嗎？」說著三人手挽手來到書齋。香玉趕忙道歉：「姐姐切莫見怪，求姐姐暫且陪伴一下黃郎，一年後就決不敢麻煩打擾了！」從此絳雪也常來陪伴黃生。
黃生眼看著牡丹嫩芽一天天長大起來，茁壯而又旺盛，到暮春時已長到二尺多高了。他回老家時，便給道士一些錢，請他一定天天澆灌護理。第二年四月，黃生回到下清宮。牡丹恰好有一朵含苞欲放呢。黃生站在花旁，流連忘返，注視著，只見它微微搖動，開張，一會兒開得圓盤一樣大，一個三四指高的小小玉美人兒端坐在花蕊中央，轉瞬間飄然而下，落地就像人一般高，亭亭玉立，流光素雅，竟是香玉，笑容可掬地說：「我忍著風吹雨淋等待您來，您怎麼來得這麼晚哪！」兩人來到書齋裡，絳雪也聞訊趕來，開玩笑說：「天天代人作婦，現在好了，我可退而為友了。」三人飲酒敘談，言笑盡歡，直到半夜，絳雪才告辭。黃生、香玉夫妻二人又恩愛美滿，一如當初了。
後來，黃生的妻子去世，黃生便長住在下清宮裡，不再同家。這時，牡丹已很高大，樹幹像人的胳膊一樣粗壯。黃生常指著白牡丹說：「將來我要把靈魂寄留在這裡，就在你的左邊！」香玉、絳雪接茬兒笑他，說：「可別到時忘了你的諾言！」
過了十多年，黃生忽然病危，他的兒子從老家趕來探望，不禁哭泣起來。黃生自己倒很坦然，笑著說：「這是我的生期，又不是死期，你哭什麼呢！」又轉向道士說：「將來牡丹花下有一個紅芽冒出來，一長五片嫩葉，那就是我。」說罷便不再作聲。他兒子用車把他拉回家去，他便溘然長逝了。第二年，牡丹花下果然冒出一根又肥又旺的紅嫩芽，果然是五片小葉。道士覺得神奇靈驗，更加注意澆水護理。僅僅三年．這株牡丹就長到幾尺高，主幹有兩隻手合圍那麼粗，格外茂盛，只是不開花。老道士死後，弟子不知道愛惜，競把它砍掉了。不久，白牡丹也枯死，耐冬樹也死了。