清末以來我國的稗官野史和民間傳說中一直流傳著一個關於香妃的傳奇故事。這個故事廣為流傳，以至於連外國的一些詞典中都出現了有關香妃的詞條。民間關於香妃傳說的版本很多，總起來大致有兩種。在蔡東藩的《清史演義》、《清朝野史大觀》以及金庸的小說《書劍恩仇錄》等書中所描繪的香妃與民間傳說中香妃的故事差不多。在民間傳說中，香妃是個傳奇的人物，1745年，香妃出生於新疆喀什的一個維吾爾族家庭，後來被小和卓木訥為妃子，因為身上有一種奇香，所以被人們稱為香妃。後來，新疆的大小和卓木叛亂，乾隆皇帝派大將軍兆惠前去平叛。
在1759年的一次戰役中，大小和卓木被清軍打敗。在後宮的香妃也被兆惠俘虜，後來，被帶回京城。兆惠為了討好乾隆皇帝，就把身有異香的香妃獻入宮中。乾隆見香妃「玉容未近，芳氣襲來，既不是花香，又不是粉香，別有一種奇芳異馥，沁人心脾。臨近御台，更是柳眉微蹙，杏臉含暈，益發動人憐愛。」但是宮中的太監叫她向乾隆皇帝行禮，她卻絲毫不睬，只是淚眼瑩瑩。」這時身邊的近臣向乾隆耳語說也許香妃剛剛從叛亂的部落俘來，心裡還有一絲悲痛，而且她自新疆而來，也不熟悉宮中的規矩，皇上可以先將她的飲食起居按回疆的風俗來安排，再派幾個回部的僕人伺候，時間久了就好了。
乾隆聽了這位近臣的建議，就讓人在西宮給香妃修築寶月樓居住。並對她恩寵有加。但是，香妃卻因為思念故鄉，整天抱著新疆帶去的沙棗花，暗自垂淚。後來，乾隆皇帝帶著香妃到江南遊玩散心，到了杭州的時候，乾隆企圖強行臨幸香妃，香妃一急之下，竟取出一柄倒光閃閃匕首來，想刺殺乾隆，乾隆給嚇了一跳。從此再也不敢強迫香妃，可是後來這件事情傳到了慈寧宮皇太后的耳中，皇太后恐怕乾隆被害，就趁著乾隆外出遊玩的機會，將香妃召入宮中，逼她自盡了。香妃臨終的時候留下遺言說，我死後請把我的屍體運回新疆，我要長眠在家族的陵墓裡。乾隆回宮後，見香妃已死，大哭了一番。後來，因懷念香妃又讓宮廷畫家、意大利人郎士寧所畫依照香妃生前的樣子畫了一幅「香妃戎裝像」掛在宮中。然後又依照香妃的遺言，派圖爾都的妻子蘇德香人將香妃的遺體護送回新疆，蘇黛香一行人在路上陪著靈柩整整走了3年才到達香妃的故鄉喀什，後來香妃被安葬在阿帕霍加墓內。這座墓後來就被當地的人們香妃墓。
後來，香妃故鄉的人民為了紀念香妃，就為她在喀什噶爾回城北面的香妃墓附近為她修建了一座香娘娘廟。據說香娘娘廟很有靈驗，當地的維吾爾族的年青姑娘們都經常到此祭拜，所求之事無有不應。1892年，蕭雄在自己的《西域雜述詩》一書中用詩記載了這個史實。在他的「香娘娘廟」詩中說：廟貌巍峨水繞廊，紛紛女伴謁香娘。抒誠泣捧金蟾鎖，密禱心中願未償。 同時，在這首詩的注裡面，他還寫道「香娘娘，乾隆間喀什噶爾人，降生不凡，體有香氣，性真篤，因戀母，歸沒於母家。」但並沒有提到香妃傳說中的種種故事。