外賓來台時，西子灣行館也是蔣介石在南台灣重要的宴會場所，例如蔣介石於1957年即在此處接待訪問台灣地區的約旦國王侯賽因。又如伊朗國王巴列維於1958年訪問台灣地區，也是到南部參觀海軍基地與三軍演習，並由蔣介石在西子灣晚宴；不過由於西子灣行館空間較小，因此蔣介石當晚系安排巴列維赴高雄圓山飯店休息。1960年，越南總統吳庭艷訪台，蔣介石也是選在西子灣行館與他餐敘，就軍事問題交換意見。
由於西子灣行館算是較正式的貴賓會見場所，因此相較之下，各項擺設都比較講究。例如：目前行館保存的餐具就是為接待侯賽因特地從台北的「總統府」搬運而來；行館客廳皮製沙發椅是蔣介石由南京運來；餐廳內別具南國風味的貝殼沙發則由前高雄市長陳啟州呈獻。行館車庫停放1948年出廠的美國Packard轎車，是蔣介石來台前在南京的座車，1949年從南京運到台北，再從台北運到高雄；直到1955年蔣介石赴金門視察，這部座車還曾運到金門供蔣介石乘坐。
1964年，宋美齡最寵愛的孫蔣孝勇前往位於南台灣高雄的「陸軍官校」預備班就讀，繼蔣孝文與蔣孝武都無法就讀軍校之後，蔣孝勇選擇在軍校就讀，成了蔣介石的希望所繫，更是台灣當局對外宣傳的正面焦點；尤其蔣孝勇聰明伶俐，課業優秀，讓「兩蔣」都寄予厚望。據說蔣孝勇就是在這段時間，還利用休假日到行館庭院籌設了鳥園。
只是運氣不好的蔣孝勇，竟然於1969年在軍校一次演訓中傷了右腳踝，由於沒有實時妥善治療，導致軟骨硬化，甚至連動兩次大手術，才把軟骨取了出來。當時蔣介石南下巡視，已改住較安靜的澄清湖行館，不過西子灣賓館仍是門禁森嚴的招待所，蔣孝勇在養病這段期間，就在西子灣行館內靜養。宋美齡也曾多次前往探視。
1969年2月24日，蔣介石還寫了封信給蔣孝勇，信中說：「昨聞你已病入醫院，不勝系念。今特寫信交武孫帶來慰問，如你下周仍未痊癒，我與祖母就要南來看你，想與你同住幾日；在西子灣養病或比醫院為佳易愈也。余不多言，望早痊癒。」日後蔣介石還手書「持志養氣、耐心養病」，希望為孫打氣。只是受腳踝傷勢影響，蔣孝勇已無法負擔軍事操練，最終還是放棄了軍校夢，返回台北赴台大政治系就讀。