西子灣坐落於台灣高雄西隅沿海灣澳，也稱「洋路灣」「洋子灣」或「斜仔灣」，因閩南語諧音，漸稱為「西子灣」。北端位在柴山西南端山麓下，南面隔海與旗津島相望，平灘、淺沙及天然礁石四布，椰林、浪花增添熱帶風情，「西子夕照」早在清初即為「台灣八景」之一。全台第一座洋樓也出現於此。〔全台第一座洋樓，系由天利洋行於同治四年（1865）2月，在西子灣畔哨船頭小山丘興建，是當時英國掌理海關稅務工作的重要據點。〕
日本佔據台灣後，於1916年在西子灣設立壽海水浴場，成為高雄民眾遊憩的重要景區。1923年，為迎接日本皇太子裕仁抵高雄視察，殖民政府不但將附近的打狗山改稱為「壽山」，並於西子灣畔興建「壽山館」，作為太子駐泊所。〔同樣位於西子灣，裕仁抵達高雄視察時，夜宿於殖民政府特地為他興建的壽山館。此處並非日後的蔣介石行館，但風景清幽，裕仁曾利用時間登壽山觀賞風景。裕仁離台後，壽山館也成為日皇宗室度假憩息之處。日本人同時在當地籌建森林公園與登山公路。壽山並於1926年被日本報刊選為「台灣八景」之一。〕
由於位居要津，「二戰」時期，西子灣被日軍占為基地與海防據點，海水浴場不再，長堤上築起軍事碉堡，日本海軍並將西子灣畔北側一棟由高雄醫師彭清約於1937年所建二層樓和風西式建築徵收為軍官俱樂部，也就是西子灣賓館前身。1945年抗戰勝利後，此屋則由海軍總司令部接收，作為貴賓招待所，稱「壽山官邸」。
1949年5月25日，結束長達10天在澎湖的徘徊，在孫立人保證下，蔣介石搭機飛往高雄岡山，再登艦轉往壽山旁港口登岸，並檢閱孫立人為他訓練的新軍，是以西子灣海軍招待所成了蔣介石1949年在台灣本島落腳的第一個行館。蔣介石在當天日記上沒有提到為何在台海間徘徊不前，只記載，「到岡山下機，叔銘〔王叔銘（1905年10月16日-1998年10月28日），本名醺，號叔銘。山東諸城人。黃埔軍官學校第一期，歷任美籍志願軍大隊中國人員管理處主任、空軍軍官學校教育長等職。1946年6月，調任空軍總司令部少將副總司令，1952年3月，升任「空軍總司令」。1957年升任「參謀總長」。曾任「駐約旦王國大使」「總統府戰略顧問」。1998年病逝於台北，享壽92歲。〕來迎，直上高雄要塞之壽山官邸，背山面海，坐北向南，林木蔥蘢，神悅心怡，不勝自得之至」。