在唐朝時候，有一年的中秋節夜裡，圓圓的月亮掛在天上，照得滿世界晶亮晶亮。
半夜時分，靈隱寺裡的燒火和尚德明，起身到廚房去燒粥，聽見了一陣滴滴答答的聲音，覺得很奇怪，望望窗戶，月亮明光光的，哪裡來的雨聲呢？於是他就開門出去，仰頭望望，見有無數珍珠般的小顆粒兒，從月亮裡紛紛落下來，掉在寺邊的山峰上。他看著看著，等那小顆粒兒落完了，就來到山峰去尋找。尋一粒，拾一粒。尋一粒，拾一粒……那小顆粒兒都有飽飽綻綻如黃豆那麼大，色彩多樣，真好看呢。他拾呀拾呀，從半夜拾到大天亮，拾了滿滿一兜。
第二天清早，德明和尚把夜裡拾來的那些小顆粒兒拿去給智一老和尚看，問他這是什麼東西。智一老和尚細細看了一會，說：「月宮裡有一株大桂樹，還有個莽漢子叫吳剛。他一年到頭砍這株桂樹，但總是砍不斷。有時使勁過大了，就會把桂子震落下來。說不定這就是月宮中落下來的桂子呢！」
德明和尚聽了很高興，說：「師父，我們把它種起來，讓大家見識見識月宮裡的桂樹，聞聞月宮裡的桂花香。」
於是，他們便把那些色彩多樣的小顆粒兒種在寺前寺後的山坡上，過了些天，居然發出了芽；到一個月，芽又長了一尺多高的小樹苗，抽出了翠綠的葉子。
這月宮裡的桂樹，長得可真快呀，一月長一尺，一年高一丈，到第二年的中秋節，就長得又高又大，每株樹上開滿了小花朵兒，有橙黃的，有淨白的，有緋紅的，什麼色彩都有。德明和尚就按照桂花的不同色彩，把它叫做金桂，銀桂，丹桂……從這時候起，西湖四周就有各種各樣的桂花了。
現在，靈隱寺旁邊有一個山峰，叫月桂峰，傳說就是當年月宮落下桂子的地方。