寧夏固原有個叫柴四的人，到磁州販賣羊，生意很不好，在那裡也沒事做。又到了秋天，刮起了秋風，心裡想念家裡，很想回家去了，便打點好，牽著驢子就上路了。
走在路上，誤入叢林之中，就像進入八卦陣中，不知東西，迷路了。此時，他又饑又渴，疲憊不堪，就從驢背上下來，慢慢地徒步前進，一邊牽著驢子，驢子一邊啃著地上枯萎了的草，自己也拿出乾糧啃起來，到處看看有沒有可以休息的地方，看到前面不遠的地方有一棵高大的樹木，想那裡應該可以休息一下，便朝著前面走去。
正往前行走，忽然竄出一隻兔子，驢受到驚嚇，一下閃過一邊去，路邊剛好有一口枯井，驢失腳，墜到裡面去了。柴四拉著韁繩，繩子沒放得有多長，和驢子挨得很近，沒有來得及放開，跟著驢子也墜下去了。
也不知道井有多深，墜到底了，倒也沒有什麼損傷，只是裡面漆黑一團，腳下全是稀泥，湮過了腳背。柴四暗中摸索，開來是沒辦法出去了，想自己死定了，悲傷了好長一會兒，又向周圍看看了，不覺“噫”了一聲，好像有一線光線透進去，就慢慢地移動過去，摸到那裡是一面石門，用力地推動，不覺豁然開朗，在石門外邊，長著細茸茸的小草，各種各樣的花，猶如錦繡，遠處的山，一派青黛色，近處的水，一片碧藍，抬頭看空中，天朗氣清，一目千里，柴四絕處逢生喜出望外，立即牽著驢子走進去。
穿過花叢，大概半里路這樣，就見到了一條小路，路兩旁長著奇花異草，異常清香美麗，都是柴四生平沒有見過的。
一種像是桃樹的樹上，長滿的濃密的樣子，也開滿了花，但那桃花有碗口那麼大，當時已是殘秋季節了，然而那個地方的風景，則好像是暮春時節一樣，柴四心裡大惑不解，於是，也不管了，騎上驢子就得得地向前走去。
最後來到一個村落，清澈的溪水環繞在村子四周，村裡裡綠樹濃蔭。房屋的牆壁都是用竹子編織成的，上面蓋著一張張木板，就像是一副山水畫一樣，村裡面的黃發垂髫的小孩，還是滿頭白髮的老人，每個人臉上都顯得十分和悅。
村裡的人忽然見到柴四，都感到很驚奇，尤其對他的那頭驢子感到很奇怪。雖然眾人聚攏過去，對他議論紛紛，可是沒人敢靠近他。
柴四不明白他們的意思，只能低聲溫和地向他們訴說自己快要餓壞了。
一個老人指示他說：“向西走去，一座石橋邊，有荀孺子的宅第，他家富有，並講究禮儀，喜歡接納客人，你為何不到他那裡去呢？”
柴四就按老人說的，到了那裡，果然有一處高大的宅第，對面有一座高大的石橋，極為顯赫。
柴四上前去敲門，一個老僕人答應著走出來，問訊了一下，就請柴四進去。
又過了好久，荀孺子出來了，是一個面目白皙，長著漂亮的髭鬚的中年人，大概四十歲這樣，帶著一頂頭冠，穿著寬大的衣袍，打扮很古雅。
荀孺子見到了驢，也很驚訝地說道：“這是什麼獸呢？”
柴四回答說是驢子。鬼大爺鬼故事
荀孺子細細玩賞，仔細觀看，笑驢子形狀怪異，說道：“‘驢’字在詩書上，倒是見過很多，現今才見到真正的驢子。”
荀孺子把柴四請到堂上，叫人把他的驢繫在庭院的樹上，還沒來得及敘話，荀孺子便先去叫家人出來觀看驢子。
其中有一個女郎，顯得很艷冶，頻頻看了柴四好幾次，似乎對他十分滿意，柴四也被女郎的美貌和神態吸引了。
接著，驢大聲鳴叫了一聲，眾人都驚訝地四散開來。
荀孺子大笑起來，說：“看它的形狀，像是馬一類的東西，它定然不會吃人的，又怕什麼呢！不過聽它的聲音，又很美妙，真是世間少有的好東西。”於是，就讓柴四留下，並且很熱心地地招待，並派了兩個僮僕去服侍他。
柴四在那裡住了幾天，柴四乘機向小僮打聽女郎的消息，說出那女郎的形貌，並問那女郎是家裡的什麼人？小僮沒有回答他，笑著就走了。
過了一會兒，荀孺子到來了，對他說：“聽說你問起我的女兒，一定不會是無心的吧！”
柴四感到很羞愧，汗水都從額頭冒出來了，說：“只是偶然隨便問問，實在沒有別的意思，希望你原諒。”
荀孺子道：“你聽說過韋娭光的事嗎？”
柴四道：“我從小就開始學做生意了，肚裡實在沒有什麼墨水，哪裡知道什麼典故！”
荀孺子道：“韋娭光這人，精神充裕，精通神仙吐納的工夫，吸風飲露，不是不能乘風騰雲成為仙人，然而一見到鍾鑒，就結為了夫妻，今天你們倆的事，也是有緣分。你要是不嫌棄我們是山野村夫之家，倒願意把小女嫁給你為妻。”
柴四聽了，心裡不甚歡喜，簡單推辭了一下，就算作答應了。
荀孺子就向柴四索要聘禮，柴四打開包裹，拿出兩條紫金手鐲，奉送給他。
荀孺子接過手鐲，道：“這就足夠了。”又問柴四生平是做什麼的。柴四回答說：“販賣羊。”
荀孺子一副驚愕地樣子，說：“已做了幾年了？”
柴四道：“以前是父親在做，父親老了，又到我繼續接著做，已得兩代了，當然算不上富有，可也算得上小康了。”
荀孺子聽了，並沒有感到高興，相反，卻帶著一臉的不愉快，說：“你真是一個不仁之人，怎麼能把女兒嫁給你？”
柴四道：“我們只是來往販賣，又不殺害它們，想好像也不會有什麼罪啊！”
荀孺子道：“你雖然沒有親手殺死羊，卻有很多羊因為你們而死，怎麼能說沒有罪。”
柴四道：“那以後我就改業不做了。”
荀孺子道：“兩代都是販羊的，不知道已死去了多少羊，已罪不可恕了，即使改業也晚了。”就把兩隻手鐲還給了他，只把他的驢子留下，並給一錠銀子，就打發柴四離開他家。
柴四心裡萬分悔恨，也不敢爭辯，悒悒不樂地背著包袱就走出了荀孺子的家，便到他家旁邊的人家去居住，想辦法要回去，到處去向人打聽路徑，然而沒有一個人知道他要去哪裡，心裡十分鬱悶，幸好那家的主人不向他索要房租，並且每天供給他兩餐吃的，也沒有什麼缺乏的。柴四很喜歡那裡風土秀美，人情淳樸，心裡倒也安然。
一天，聽四周鄰里的人都紛紛傳說：“荀孺子要把女兒嫁到鮑處士家去，今天就是迎親的日子，為何不去看看？”
於是，全村無論男女老少，都圍到路上去觀看。柴四也擠進人群中去，見一對人打著彩旗在前面引路，後面跟著華貴的車架，穿著鮮麗的衣服、戴著彩色的帽子人，擁簇在車子的兩邊，十分熱鬧，又把他的驢裝飾得很盛大華美，有一個戴著花帽子男子騎在上面，十分漂亮。
人們都說：“騎著異獸那位，就是鮑家公子，也就荀家的女婿。”
柴四見了，心頭不覺大生嫉妒之心，忽然上前去攔在路上，問為何奪了他的驢子，眾人剛見他上去的時候是感到驚訝，接著便是惱怒，於是湊上去用馬鞭抽打他。
柴四也不怕，上前去抓住驢的籠頭，不肯讓開。
荀孺子聽到有事情，便跑過來見是柴四，就說：“牧羊兒，還敢來擾亂我家的婚事大禮嗎？”
於是，叫人上去把他綁住，柴四見有人來綁他，他才放開驢，在地上翻滾，不讓他們綁，並大聲說：“今天也打算一拼到底，還怕你們來綁我嗎？”
眾人還是上去，把他按住，送到官府，做官的袒護荀孺子，那容許柴四分辨，便以為人刁蠻狡詐不明事理罪，把他打了三百鞭子，流放到五百里之外的塵界關，讓他去戍守邊關。
柴四被押送到了那裡，守關的官吏讓他負責開關城門。柴四到了關上，差不多一個月了，也沒有一個人出入關門，也覺得很寂寞。
一天守關的官吏有事要到別處去，囑咐柴四好好看管好關門的鑰匙，不要隨便偷看關外。
官吏去之後，柴四終於有機會了，就想為何不打開關門逃走了呢？於是把門打開，加速往外走，剛走出關，風景頓時就大變了，並且十分的寒冷，一路奔走，走到了天黑，才來到一個村鎮，問路上的行人，都說是湖南的一個縣一個村，問是什麼年代了，那些又說是某年的十一月了。
柴四吃驚不已，原來離他墜入井中的地方有上千里了，算了一下日期，離自己墜井的那天，已有十多年了。於是，急忙星夜趕回家去，家裡已改變了主人，探訪親友，差不多都已搬走了，只有一個小的弟弟還在，因為貧苦，便在酒店中做傭人，鬍子也長得老長了。
又到親人的墳墓去拜望，旁邊的屋子全都沒有了，長滿了松柏，不覺捶著胸悲傷地感歎。
他把販羊得到的錢都給了他的那位弟弟，於是棄家修道去了，四處雲遊，不知所終。