位於西長安街的中南海正門——新華門，在清代是一道紅牆，紅牆之內是一棟上下各七間的兩層小樓，名叫寶月樓。袁世凱竊取大總統職務後，以中南海為總統府，將寶月樓改成了大門。
寶月樓建成於清朝乾隆二十三年。《北京傳統文化便覽》中關於寶月樓建造的原因是這樣寫的：(寶月樓)是乾隆帝為討香妃的歡心所建。香妃，回族和卓氏女，為乾隆寵妃。她深居宮禁，思念故鄉。乾隆得知，下令將新疆回民遷來一部，在長安街以西建房而居……俗稱回民營。每當香妃思念故土，她便登樓相望云云。
西長安街以南曾確有回民營和清真寺。但寶月樓是否為了香妃而建則大可質疑。按照史料記載，乾隆皇帝後宮只有一個來自新疆維吾爾族的容妃。她於乾隆二十五年(1760)入宮封為和貴人，乾隆二十六年(1761)晉封為容嬪，乾隆三十三年晉陞為容妃。清朝平定大小和卓木是乾隆二十四年秋天的事。而乾隆帝納一個維吾爾族女子為妃，應該是在此之後，這時，寶月樓已經建成一年多了。
乾隆帝為什麼要建這座寶月樓？按照乾隆《御制寶月樓記》中所說，西苑(即中南海)中的建築都是明朝遺留的，清朝只是「歲時修葺增減，無大營造」。但是乾隆皇帝覺得南海南岸長長一道皇城過於空曠，「每臨台南望，嫌其直長鮮屏蔽」，於是命工程部門根據地形位置添一建築。最初設計為三層，乾隆覺得「太侈」，減了一層。建成之後，「池不覺其窄，岸不覺其長」，高矮大小合適。為什麼叫寶月樓呢，「池與月適當其前，抑亦有乎廣寒之亭也」，就是說，看到月亮正臨液池(南海)之上，因而聯想到月中的廣寒宮，所以叫寶月樓。乾隆二十四年御制《題寶月樓》詩說：「南岸嫌長因構樓，樓臨直北望瀛洲。」註解說：瀛台皆前明所建，惟南岸向無殿宇，顧為樓以配之。這是乾隆帝自己做的註解，為建造寶月樓原因的最有力證明。
至於說寶月樓南的回民營，大約出現在寶月樓建成的十年之後。乾隆三十三年御制《寶月樓》詩中有「西宇向南憑」之句，意思是，向南眺望可見西域(風格的)房屋。註釋說：「(寶月)樓臨長安街，街南俾移來西域回部居之，室宇即肖其制。」回民營中的禮拜寺也是這個時候修建的。乾隆三十四年御制《寶月樓》詩中說：「鱗次居回部，安西系遠情」。註釋說：牆外長安街內屬回人，衡宇相望，人稱回民營，新建禮拜寺正與(寶月)樓相望。
由此可見，寶月樓之建，與香妃無關。
既然說乾隆只有一個維吾爾族的妃子，又是容妃、又是香妃，這是怎麼回事呢？其實，容妃就是香妃。容妃，是她的封號，「香」是她的名字。她原名叫伊帕爾汗，伊帕爾汗也作「包爾漢」就是「香」的意思。她叫香，並非身上有香味兒。