1952年，海軍總部奉命將這棟建築物移交「總統府」第三局接管，整修後作為蔣介石在南部「駐蹕」之所，並且定名為「西子灣行館」。由於西子灣背山面海，蔣介石在此心情備感舒暢，因此時常同宋美齡南下「駐蹕」。尤其自1951到1966年間，每年6月16日「陸軍官校」校慶，蔣介石都會親自南下主持，並住在行館中。
兩層樓的西子灣行館，綠牆白瓦，每層樓面積約429平方米，綠色外觀和蓊鬱林木相互掩映，建築多處可見匠心，行館內古木、花台、石燈、奇花、小橋、池塘的庭園造景優雅，可眺望西子灣美景。附近幾棟較小房舍由警衛與隨從人員居住，分別由木構的過水廊道連接，廊道動線與內部空間緊密接合，廊道屋瓦材料則與主體建築相同。
西子灣沙灘廣闊，風景宜人，蔣介石與宋美齡常常在西子灣沙灘散步、觀落日，當時擔任戒備的海軍為保安全，常派驅逐艦警戒，並派一排陸戰隊士兵與兩輛水陸兩用戰車灘頭防衛。事實上，「要塞警備森嚴，像一道城牆一樣，根本沒有辦法進去，再加『總統府』內部警備森嚴……恐怕還有電網地道」。
1958年金門炮戰期間，蔣介石也曾長時間住在西子灣行館，與金門防衛司令部討論戰術指導，並由此赴澎湖督運軍用物品，每日辦公均在十小時以上，前後長達一個月。為擔負軍事指揮功能，台灣軍方也在壽山鄰近蔣介石行館處設置地下臨時戰情指揮中心，地勢東高西低，入口兩處，除有碉堡式警衛室，並具防原子輻射功能，三道金屬製重門厚均超過10厘米。
指揮所內外都有發電室，通風良好；內部石壁外加一層金屬皮，通道僅可容兩人側身而過，每隔一段路就會有凹進牆壁的警備空間，不過戰情中心僅數平方米大，房中有日光燈、吊燈等設備，並鋪有木地板，平均高度約兩米。尤其第三道門內通道有處蓮蓬頭，應該是進入防原子輻射指揮所內衝去輻射物用，不過目前早已荒廢數十年。
◆西子灣行館也曾是會見貴賓的場所，各類設施配置都十分講究。車庫停放著1948年出廠的美國Packard 轎車，是蔣介石來台前在南京的座車，1949 年從南京運到台北，再從台北運到高雄；直到1955 年蔣介石赴金門視察，這部座車還曾運到金門供蔣介石乘坐。如今這輛座車作為蔣介石紀念館重要收藏，安靜地停放在車庫內，雖有發動保養，但不再開出去。
◆ 1999 年，「中山大學」重新整修行館，將行館的侍衛室、起居室、浴室及廚房改建為約270 平方米空間的藝廊，作為藝文展覽場所，稱為「西灣藝廊」。其餘如大廳、臥室等則保持原狀，開放供公眾參觀。