勞山下清宮，耐冬高二丈，大數十圍，牡丹高丈餘，花時璀璨似錦。膠州黃生，捨讀其中。一日，自窗中見女郎，素衣掩映花間。心疑觀中焉得此。趨出，已遁去。自此屢見之。遂隱身叢樹中，以伺其至。未幾，女郎又偕一紅裳者來，遙望之，艷麗雙絕。行漸近，紅裳者卻退，曰：「此處有生人！」生暴起。二女驚奔，袖裙飄拂，香風洋溢，追過短牆，寂然已杳。愛慕彌切，因題句樹下云：「無限相思苦，含情對短窗。恐歸沙吒利，何處覓無雙？」
歸齋冥想。女郎忽入，驚喜承迎。女笑曰：「君洶洶似強寇，使人恐怖；不知君乃騷雅士，無妨相見。」生略叩生平。曰：「妾小字香玉，隸籍平康巷。被道士閉置山中，實非所願。」生問：「道士何名？當為卿一滌此垢。」女曰：「不必，彼亦未敢相逼。借此與風流士長作幽會，亦佳。」問：「紅衣者誰？」曰：「此名絳雪，乃妾義姊。」遂相狎。及醒，曙色已紅。女急起，曰：「貪歡忘曉矣。」著衣易履，且曰：「妾酬君作，勿笑：『良夜更易盡，朝暾已上窗。願如樑上燕，棲處自成雙。』」生握腕曰：「卿秀外惠中，令人愛而忘死。顧一日之去，如千里之別。卿乘間當來，勿待夜也。」女諾之。由此夙夜必偕。每使邀絳雪來，輒不至，生以為恨。女曰：「絳姊性殊落落，不似妾情癡也。當從容對駕，不必過急。」一夕，女慘然入，曰：「君隴不能守，尚望蜀耶？今長別矣。」問：「何之？」以袖拭淚，曰：「此有定數，難為君言。昔日佳作，今成讖語矣。『佳人已屬沙吒利，義士今無古押衙』，可為妾詠。」詰之，不言，但有嗚咽。竟夜不眠，早旦而去。生怪之。
次日，有即墨藍氏，入官游矚，見白牡丹，悅之，掘移徑去。生始悟香玉乃花妖也，悵惋不已。過數日，聞藍氏移花至家，日就萎悴。恨極，作哭花詩五十首，日日臨穴涕洟。一日，憑弔方返，遙見紅衣人，揮涕穴側。從容近就，女亦不避。生因把袂，相向汍瀾。已而挽請入室，女亦從之。歎曰：「童稚姊妹，一朝斷絕！聞君哀傷，彌增妾慟。淚墮九泉，或當感誠再作；然死者神氣已散，倉卒何能與吾兩人共談笑也。」生曰：「小生薄命，妨害情人，當亦無福可消雙美。曩頻煩香玉道達微忱，胡再不臨？」女曰：「妾以年少書生，什九薄倖；不知君固至情人也。然妾與君交，以情不以淫。若晝夜狎暱，則妾所不能矣。」言已，告別。生曰：「香玉長離，使人寢食俱廢。賴卿少留，慰此懷思，何決絕如此！」女乃止，過宿而去。數日不復至。冷雨幽窗，苦懷香玉，輾轉床頭，淚凝枕席。攬衣更起，挑燈復踵前韻曰：
「山院黃昏雨，垂簾坐小窗。相思人不見，中夜淚雙雙。」詩成自吟。
忽窗外有人曰：「作者不可無和。」聽之，絳雪也。啟戶內之。女視詩，即續其後曰：「連袂人何處？孤燈照晚窗。空山人一個，對影自成雙。」
生讀之淚下，因怨相見之疏。女曰：「妾不能如香玉之熱，但可少慰君寂寞耳。」生欲與狎。曰：「相見之歡，何必在此。」於是至無聊時，女輒一至。至則宴飲唱酬，有時不寢遂去，生亦聽之。謂曰：「香玉吾愛妻，絳雪吾良友也。」每欲相問：「卿是院中第幾株？乞早見示，僕將抱植家中，免似香玉被惡人奪去，貽恨百年。」女曰：「故土難移，告君亦無益也。妻尚不能終從，況友乎！」生不聽，捉臂而出，每至壯丹下，輒問：「此是卿否？」女不言，掩口笑之。旋生以臘歸過歲。至二月間，忽夢絳雪至，愀然曰：「妾有大難！君急往，尚得相見；遲無及矣。」醒而異之，急命僕馬，星馳至山。則道士將建屋，有一耐冬，礙其營造，工師將縱斤矣。生急止之。
入夜，絳雪來謝。生笑曰：「向不實告，宜遭此厄！今已知卿；如卿不至，當以艾炷相炙。」女曰：「妾固知君如此，曩故不敢相告也。」坐移時，生曰：「今對良友，益思艷妻。久不哭香玉，卿能從我哭乎？」二人乃往，臨穴灑涕。更余，絳雪收淚勸止。又數夕，生方寂坐，絳雪笑入曰：「報君喜信：花神感君至情，俾香玉復降宮中。」生問：「何時？」答曰：「不知，約不遠耳。」天明下榻，生囑曰：「僕為卿來，勿長使人孤寂。」女笑諾。兩夜不至。生往抱樹，搖動撫摩，頻喚無聲。乃返，對燈團艾，將往灼樹。女遽入，奪艾棄之，曰：「君惡作劇，使人創痏，當與君絕矣！」生笑擁之。坐未定，香玉盈盈而入。生望見，泣下流離，急起把握。香玉以一手握絳雪，相對悲哽。及坐，生把之覺虛，如手自握，驚問之。香玉泫然曰：「昔，妾花之神，故凝；今，妾花之鬼，故散也。今雖相聚，勿以為真，但作夢寐觀可耳。」絳雪曰：「妹來大好！我被汝家男子糾纏死矣。」遂去。香玉款笑如前；但偎傍之間，彷彿一身就影。生悒悒不樂。香玉亦俯仰自恨。乃曰：「君以白蘞屑，少雜硫黃，日酹妾一杯水，明年此日報君恩。」別去。明日，往觀故處，則牡丹萌生矣。生乃日加培植，又作雕欄以護之。香玉來，感激倍至。生謀移植其家，女不可，曰：「妾弱質，不堪復戕。且物生各有定處，妾來原不擬生君家，違之反促年壽。但相憐愛，合好自有日耳。」
生恨絳雪不至。香玉曰：「必欲強之使來，妾能致之。」乃與生挑燈至樹下，取草一莖，布掌作度，以度樹本，自下而上，至四尺六寸，按其處，使生以兩爪齊搔之。俄見絳雪從背後出，笑罵曰：「婢子來，助桀為虐耶！」牽挽併入。香玉曰：「姊勿怪！暫煩陪侍郎君，一年後不相擾矣。」從此遂以為常。生視花芽，日益肥茂，春盡，盈二尺許。歸後，以金遺道士，囑令朝夕培養之。次年四月至宮，則花一朵，含苞未放；方流連間，花搖搖欲拆；少時已開，花大如盤，儼然有小美人坐蕊中，裁三四指許；轉瞬飄然欲下，則香玉也。笑曰：「妾忍風雨以待君，君來何遲也！」遂入室。絳雪亦至，笑曰：「日日代人作婦，今幸退而為友。」遂相談咽。至中夜，絳雪乃去。二人同寢，款洽一如從前。後生妻卒，遂入山，不復歸。是時，牡丹已大如臂。生每指之曰：「我他日寄魂於此，當生卿之左。」二女笑曰：「君勿忘之。」後十餘年，忽病。其子至，對之而哀。生笑曰：「此我生期，非死期也，何哀為！」謂道士曰：「他日牡丹下有赤芽怒生，一放五葉者，即我也。」遂不復言。子輿之歸家。即卒。次年，果有肥芽突出，葉如其數。道士以為異，益灌溉之。三年，高數尺，大拱把，但不花。老道士死，其弟子不知愛惜，斫去之。白牡丹亦憔悴死；無何，耐冬亦死。
異史氏曰：「情之至者，鬼神可通。花以鬼從，而人以魂寄，非其結於情者深耶？一去而兩殉之，即非堅貞，亦為情死矣。人不能貞，亦其情之不篤耳。仲尼讀唐棣而曰『未思」，信矣哉！」