「廬山」昔稱「巴奧隆」，位於濁水溪左岸與其支流馬赫坡溪匯合處東北方高地，即霧社東北方約9000米處，海拔1250米，早被擅長狩獵聞名的泰雅族、賽德克族視為聖地。日據時期，「廬山」被劃入台中能高郡霧社，成為著名台灣少數民族抗日行動「霧社事件」[日據時期，因不滿日本「總督府」與地方政府壓迫，賽德克族馬赫坡社屢起爭端，1930年10月27日，馬赫坡社趁日本人舉辦聯合運動會警備疏忽之際，首先發難，由莫那魯道率部落分隊襲擊附近警察分駐所13處，砍殺日本人136名，震驚全台，日本殖民政府調派警察與軍隊、飛機進攻霧社。賽德克族反抗主力漸退到馬赫坡社，再轉進高山峽谷周旋，日本軍隊則進行毒氣彈攻擊，並發動其他族居民圍攻，賽德克族彈盡援絕後，選擇戰死或在巨木下自縊。莫那魯道亦持槍自殺，該族幾遭滅族，倖存生還者也遭集體遷村。「霧社事件」是日本統治台灣期間最後一次激烈的反抗行動。但因日軍採取屠殺、攻擊不設防村落等手段進行鎮壓，嚴重違反《海牙公約》與相關國際法，因此被嚴厲譴責。莫那魯道屍體於1934年才被尋獲，送到台北「帝國大學」當作人類學標本，後來才被送回霧社安葬。]的舞台。1931年，日本人將參與霧社事件的馬赫坡社人強迫移至清流，「廬山」一度荒廢，不久後，另有太魯閣群遷至「廬山」耕種，但定居者不多。
「廬山」溫泉在台灣少數民族心目中，是帶有靈氣，而且可以醫治百病的神泉，耕種、打獵之餘，便以溪邊溫泉泡澡。日據時期，因駐守當地的日本警察發現溫泉泉源豐沛、泉質優良，因此於1941年正式開發，並建造溫泉療養所，供駐守人員使用。
因「廬山」氣勢雄偉，遠觀酷似富士山，因此日本人改稱當地為「富士溫泉」，又因附近天然櫻花林繁盛，也稱「櫻花溫泉」，與附近霧社、春陽合有「櫻都」雅號。每逢二月，櫻花盛開，熱鬧非凡，甚至當時還有攜歌伎在櫻花樹下席地飲酒賞櫻的習俗。
「廬山」溫泉溫度均達87℃，屬強鹼性碳酸氫鈉泉，神奇的是，溫泉水溫會依季節而改變，在寒冷的冬天會升高到98℃，夏天又降溫到75℃；清澈無味、可飲可浴，對風濕、神經痛、慢性胃炎、高血壓、動脈硬化等疾病有一定療效，相當受日本人重視。
光復後，「廬山」溫泉始對外開放。1946年，蔣介石光復後首度來台，將當地改名為「『廬山』溫泉」。當時日本警察療養所已被國民黨接收，改稱「警光山莊」，有大小日式房子兩棟，蔣介石下榻在山莊轄下一間日式平房，浴池分室內和露天，設備簡潔。之後這座平房也被改為蔣介石行館，作為他避暑休憩之地。「廬山」溫泉也因此號稱「天下第一泉」。
蔣介石光臨「廬山」溫泉時，當地並未大幅開發，僅靠羊腸小道對外聯絡，不過當地溫泉出名後，引來許多外來人向當地人收購土地，「廬山」人口大量增加；同時隨業者投入，當地逐漸形成溫泉產業聚落，隸屬台灣南投縣仁愛鄉精英村管轄。
尤其20世紀60年代初中橫公路開通後，交通與觀光資源大幅改善，「廬山」逐漸成為台灣民眾旅遊熱區，原本寧靜的山野村落突然淪陷在喧鬧繁華中，恬靜氣氛漸被商業化環境取代。蔣介石原本偶爾還會搭汽車前來休憩，之後也轉向中橫沿線其他風景更獨特、安維更嚴密的新景點。至於蔣介石行館則長期維持嚴密管制，由警光山莊負責維護，少有平常人出入。同時，為了滿足蔣介石的喜好，山莊周邊廣植梅花，一到冬天，滿園雪白暗暗飄香，充滿詩意。
蔣介石去世後，這間木造溫泉行館因警光山莊經費不足，年久失修，湮沒在荒蕪雜草中，屋內木頭腐朽，有如廢墟，相較附近新舊溫泉旅館雜陳的景象，落差非常大。直到2000年，為發展地方觀光，南投縣政府才爭取到補助經費，完成翻修與周邊環境綠化美化，讓行館煥然一新，供遊客到「廬山」溫泉泡澡之餘，也能來此拍照參觀。