常大用，河南洛陽人，平生最愛牡丹。他聽說曹州牡丹甲天下，心中非常嚮往，渴望能有機會去一飽眼福。有一次，正好因為有一件事情要到曹州去，常大用非常高興，多年夙願可以了卻了。
到了曹州，常大用專門找了一官宦人家住下，因為他家有一處在當地很有名氣的花園。求得主人的允許，常大用就在花園中住下了。當時正是初春二月，牡丹尚未發芽，常大用只好耐心地住下來。每天在花園中徘徊，仔細地觀察牡丹的生長情況，盼望著牡丹能早早日開放。其間常大用寫一《懷牡丹》詩百絕，時常吟誦，自得其樂。不多久，牡丹花漸漸地含苞待放了。常大用卻是又喜又憂。喜的是，牡丹已是含苞待放了；憂的是，一個多月，他身上的錢也花完了。考慮再三，他還是無法放棄能夠看到即將盛列的曹州牡丹的機會，於是，他就把穿不著的衣服典當出去，等待著花期的到來，時常在花園中徘徊流連。
一天早晨，常用又去園中看花，遙見一妙齡女郎和一老婦人正在花園中。他懷疑是此地哪家大戶的家裡人，沒有驚動他們，就回屋去了。到了傍晚，常大用又去園中看花，那女郎還在那裡。到了近處，常大用偷偷地端詳那位女郎，穿著富麗，天資國色，撩人心動。見了常大用，並不十分躲避，卻從容地對他一笑向假山後面躲去了。
常大用被這天仙般的美女弄得目眩神迷，心想：她一定是仙女下凡，人世間怎麼會有如此美貌的女子呀！於是，不由自主地向女郎去的方向搜尋過去。繞過假山，沒想到，卻正好碰到那位老婦人。那女郎 正坐在近處一塊石頭上，看見他顯得很吃驚。那位老婦人連忙用自己的身體遮擋在女郎 面前，厲聲呵斥著：「你這狂妄的小子，究竟想幹什麼？」常大用卻跪下說道：「這位女郎一定是仙女下凡！小生冒味了。」老婦人憤怒地訓斥他：「簡直是胡說八道。破真該叫人把你送到官府時裡去，治你的罪！」常大用非常害怕，手足無措。但那女郎卻笑了笑，對老婦人說：「我們走吧！」說完，就走了。
常大用無精打采的回到屋裡，心裡想到，如果女郎回去後把今日之事告訴了她的父兄，一場責罵、污辱恐怕是不可避免了。晚上，一個人躲在空蕩蕩的屋子裡，他後悔自己今日的舉動實在是太孟浪了。可又想，剛才那女郎並沒有怒容，也許並不把它當成一回事。就這樣，常大用既後悔，又害怕，一夜輾轉反側，竟然病了。第二天，幸運的是女郎家並沒有人來興師問罪，心裡才稍稍安寧了些。然而，他又不由得想起那女郎的聲容笑貌來，由害怕而變為十分的想念。就這樣，不過三天，常大用滿面憔悴之色，竟成了重病，臥床不起了。
這天晚上，常大用昏昏沉沉地剛一入睡，忽聽屋門一響，那老婦人手捧一隻藥碗進來了。老婦人說：「我家葛巾姑娘，親自配成這劑毒藥給你，快喝下去吧！」常大用十分驚：「我與葛巾姑娘，素無怨仇，為什麼竟然要毒死我呢？唉，也罷。既然這藥是姑娘親手調的，與其因她相思而病，不如喝藥而死。」說罷，接過藥來一飲而盡。那老婦人笑笑，就走了。
奇怪的是，常大用喝下藥去，卻覺得一股香氣沁入肺腑，頭腦清爽，好像並不是什麼毒藥。想著想著，他便酣然睡去。第二天早晨醒來，只見紅日滿窗。試著起來，大病若無，心中更加堅信那女郎是仙女下凡。他心中默默地祈禱能夠再次見到女郎。
這一天，常大用在園中一叢樹木之後，迎面遇上那位女郎。見四下裡無人，他驚喜地急忙跪在地上。那女郎伸手輕輕地拉他起來。常大用驚喜交集，握住了她那潔白的玉腕，順勢站了起來，只覺得這隻手溫軟面細膩，並聞到她身上散發出一種奇異的香味，常大用覺得全身骨節都酥軟了。正想說點什麼，那位老婦人忽然來了。那女郎讓他藏於假山之後，指著南邊說：「晚上你來吧。南面小牆以內有一座四面紅窗的屋子，就是我住的地方。我放好了梯子等你。」說完匆匆而去。常大用呆站在那裡，滿腹悵然，真有些魂飛魄散了。
好容易等到天黑，他搬梯子登上南牆，果然見牆那邊有梯子豎在那裡。他高興地下去，果然見有紅窗在。到了窗前，聽到裡面有下棋的聲音，悄悄地站在窗下，不敢向前，等了一會，他越牆回去了。
常大用心神不定，從坐立難安，他又第二次來到紅窗之下，聽到下棋的「嗒嗒」聲更密了。他順窗縫看去，只見那女郎 正與一白衣女郎下棋，那老婦人也在坐，有一個丫環待他們。他只得再次返回來。到他第三次登上牆頭，已是三更天了。忽然聽到老婦人說：「誰把梯子放這兒了？」招呼丫環把梯子抬走了。他只好怏怏不樂地回來了。
第二天晚上再去，梯子已先預備好了。來到紅窗之下，幸好四下無人，急忙推門進去，只見女郎獨自坐在那兒若有所思。一見常大用，慌忙站起來，滿面羞澀。常大用作揖說：「我自感福薄，從不敢妄想什麼，今日你我有如此良機，真是三生有幸啊。」說著，就靠近了女郎。那女郎身材苗條，美麗迷人，連她呼出氣兒也像蘭草的芬芳。
二人正在親密地交談，忽聽近有人說話。女郎急忙說：「我妹妹玉版來了。你先藏到我床下去吧。」他只好從命。他剛藏好，一個女子走進來，笑著說：「你這敗軍之將，今天還敢和我較量嗎？我已經沏了好茶，準備與你戰一通宵。」女郎以身體困乏為由推辭。玉版再三請求，見不答應，便開玩笑地說：「你這樣捨不得離開屋子，難道 姐姐在屋裡藏了個男人不成？」女郎見她強意相邀，只得隨她去了。
常大用聽到腳步聲遠去，使爬出來。他又氣又恨，於是便想在屋裡找件東西，也好帶回去做個紀念。找來找去，只在床頭發現有一個水晶如意，上邊繫著一條紫巾，芳潔可愛。於是，揣在懷裡，越牆回到自己的屋子。
常大用在自己屋裡玩賞那水晶如意，衣袖一動，似乎還聞到那女郎的體香，因而更加傾慕女郎。然而想到自己夜闖人家閨房，怕受到刑律制裁，再也不敢前去，但珍藏著如意，希望女郎能夠來找.
隔了一天的晚上，女郎果然來了，她笑著說：「我一向認為你是個正人君子，卻原來是個賊啊！」常大用高興地說：「是的，我確實拿了你的東西。但我之所以偷拿了你的如意，是因為想借此取蚌吉祥之兆，希望咱們的事能夠遂心如意啊。」二人越談越親密，於是私定了終身。常大用問女郎道：「我認為你是仙女下凡，幸蒙你的垂愛，真是我三生有幸。但唯恐你離我而去，幸福難以長久。」女郎笑著說：「你太多慮了。我不是什麼神仙，只是對你太癡情了。此事要嚴加保密，如讓別人知曉，後果不堪設想。」常大用答應了，但始終懷疑她是仙女，一定要她說出她的真實姓名。女郎說道：「既然你認為我 是仙女，又何必知道我的姓名呢？」常大用又問：「那麼，那位老婦人又是誰呢？」女郎答道：「她是桑姥 姥 。小時候我常常得到她的照顧，一向把她當長輩相待。」說罷，女郎起身要走，對常大用說：「我那兒人多，你去了多有不便，我有機會來找你吧。那水晶如意是我妹妹玉版的，你還是讓我帶回去吧。」
從此，每隔三兩天兩人就會面一次。常大用沉浸在幸福之中，不再想回家的事，但典當衣服的錢又花光了。他準備賣掉騎來的那匹馬。此事被女郎知道了，對他說：「你為了我，把錢花光了，再賣掉馬，千里迢迢，你怎麼回去呢？我於心何忍？我有些積蓄，你拿去用吧。」常大用推辭道：「你對我情深似海，我無以為報。怎麼能再用你的積蓄呢？」女郎堅持說：「就算暫時借給你吧。」於拉著他的胳膊，來到一棵桑樹下，指著一塊石頭讓他搬開，又從頭拔下金釵，往地下刺了幾十下，說：「挖吧。」他順從地用手扒了扒，不一會，地下露出一隻甕口來。女郎探手從甕裡取出銀子近五十兩，常大用阻擋不住，女郎又從裡面拿出十來個元寶。最後，常大用還是只要了一半銀子。
不知不覺又過了好幾天。這天夜裡，女郎對常大用說：「近來咱們的事有些風言風語，長此下去不是好辦法，我看咱們還是商量個對策為好。」常大用很害怕：「究竟該怎麼辦呢？我平生老實謹慎，為了你，我把一切置之度外了。只要能和你在一起，刀山火海，我無所畏懼！你怎麼辦吧？」女郎見他態度堅決，就決定和他逃到洛陽去，並且讓他先騎馬回去，自己隨後乘車前往。常大用回到家，正準備去迎接女郎，沒料想女郎乘車也到了家門。眾鄉鄰聽說他娶來一位美貌賢惠的妻子，紛紛前來祝賀，並不知道他們是逃回來的。但常大用心裡總感到不大坦然，女郎說：「我們情投意合，心甘情願，誰也不會干涉我們，你不必怕。」時間一天天過去，常大用也慢慢地放下心來。
常大用有個弟弟，叫常大器，此時十七歲了。女郎見他聰明伶俐，相貌英俊，於是提出讓妹妹玉版嫁給他為妻。常大用恐怕他們出逃的事被別人發覺，但女郎說：「不妨事。我已經想好了辦法。玉版妹妹與我最好，最相信我，只要派一人前去，她定可前來。」於是，女郎就派桑姥姥乘車前往曹州。幾天以後，桑姥姥到了曹州，將要到達花園時，她下了車，讓車上停在路上等候，她一個人乘夜深人靜進到園中，不一會就把玉版領出來，登上車就往回趕。
女郎計算著馬車的時日，估計要來的那天，讓常大器穿上結婚盛裝，到幾十里外去迎接，果然碰到了桑姥姥 和玉版乘坐的車子。於是，常家歡歡喜喜地為大器完成了婚禮。從此，兄弟二人都得了美貌賢惠的妻子，常家的日子越過越火，家境日益富裕起來。
有一天，有幾十個賊寇騎馬突然闖進常家院中。常大用知道事情不妙，全家登樓躲避。賊寇把樓圍起來，氣勢洶洶。常大用在樓上俯視著眾賊寇，問：「咱們有什麼仇嗎？」賊寇回答說：「沒有。但我們今天來，有兩件事相求：第一件，聽說你們兄弟的兩位夫人世間所有，請讓咱弟兄們看看；第二件，我們一行五十八人，請給我們每人金子五百兩。」此時，樓下堆滿了木柴。賊寇威脅，若不答應，就要放火焚樓。常大用答應給他們金子，但他們並不滿足，家人非常害怕。女郎與玉版幾次想下樓，都被常大用攔住。但她們終於按捺不住，衝下樓來，站在樓梯中間，說：「我姐妹都是天上仙女，暫時來人間生活，難道還怕你們這伙賊寇嗎？我想即使送你們萬兩黃金，你們也不敢要吧！」賊寇們嚇得跪拜在地，紛紛說道：「不敢不敢。」女郎和玉版見此情景，正要回樓上，突然一賊寇說：「她們是騙人的，不要上當！」女郎反身站在樓梯上，大聲呵斥：「你們想幹什麼，就早早地說出來，現在還不算太晚。」眾賊寇你看看我，我看看你，都不敢說話。姐妹倆從容走上樓上。眾賊寇一哄而散。
兩年以後，女郎和玉版各生了一個男孩。女郎也漸漸地說出是魏姓，母親被封為曹國夫人。但常大用很是懷疑，在曹州從未聽說過有姓魏的大戶，況且大戶人家的小姐失蹤了，怎麼會沒人尋找呢？但他又不敢假追問女郎。但常不用一心要解開心中的謎團。他找了個借口再一次來到曹州，到處打聽，也沒有聽說魏姓的大戶。於是，他仍舊來到上次借住的花園裡，來到主人的一間正房，忽見牆上有一首題詩，題為《贈曹國夫人》，心中大驚，於是就問花園主人。主人笑著請他去看曹國夫人。原來主人請他看的是一株牡丹，枝繁葉茂，生機勃勃，長得和房簷一樣高。常大用問何如此稱呼它，主人解釋，因為這個品種是曹州第一，所以有人戲稱之為「曹國夫人」。常大用又問，這是哪個品種，主人回答說，叫做「葛巾紫」。於是，常大用更加認定，女郎是花妖所變。
常大用回到家中，但不敢當面質問女郎，就把看到的《贈曹國夫人》詩念 給她聽。女郎聽後驟然變色，衝出屋去把玉版叫來，並且把兩個孩子也抱了來，對常大用說：「三年前，我為你的真誠所感動，於是把身心全部交給了你。不想你卻百般猜疑，我們怎能白頭偕老？」女郎和玉版悲憤之下，雙雙舉起兒子，朝地下扔去，兩個孩子隨即不見了蹤影。常大用驚呆了，葛巾和玉版也像彩雲一般飛去了。常大用悔恨不已，一個幸福的家庭化為泡影。
幾天以後，兩個孩子墮地的地方長出了兩株牡丹，一夜之間就長了一尺多高，當年春天就開了花，一株開紫花，一株開白花，花朵大得大盤子，比普通的葛巾和玉版要好看得多。幾年以後，就繁衍成一片。後來被人移到其它地方，又不斷地產生一些新品種，千姿百態，各呈風采。從此，河南洛陽就成了牡丹最繁盛的地方。