早在澄清湖整治之前，為承接蔣介石每年南下巡視、遊覽的需求，於1958年由「國防部」設計、台灣銀行出資，在湖中仁山半島一塊小高地上，建造一座三層樓西式建築，充作蔣介石行館。
這處鋼筋混凝土房舍隔著一汪湖水，與湖畔另一景觀得月樓遙遙相望，佔地僅614平方米，即大貝湖別墅、大貝湖招待所。行館面積雖不大，反倒是一旁侍衛大樓「傳習齋」佔地達2000多平方米，且有噴水池、網球場、籃球場等設備。至於行館內則配置齊全，比較其他行館，還多了一間宋美齡的畫室。
1961年1月7日，大貝湖行館被蔣介石改名為「澄清樓」。但其實早在1959年，台灣當局就在澄清湖大門入口左側的山坡內，建起了秘密的地下作戰指揮中心，以防蔣介石在此度假時突遇戰事。指揮中心入口在侍衛大樓「傳習齋」後方山丘下，地下通道寬約兩三米，全長約200餘米，通道曲折蜿蜒，共有10多個房間，四周由鋼筋水泥建造，並在多個要衝處設有堅固屏障牆與機槍射擊孔。
指揮中心除獨立空調系統外，入口處一堵大門重約5噸，外層為純鋼材料，內部灌鉛，防止空襲時產生的巨大震力及增強核子防護效果。據說當時整個中心設有通信、發電、軍糧倉庫、會議室、彈藥庫等完整的指揮作戰設施，還設有蔣介石臥室及衛浴室，只是空間都不大；鋼門上還寫著：「此門重達5000千克，外鋼內鉛，可防輻射線穿透。」
1963年2月6日，蔣介石檢閱部隊後夜宿西子灣賓館，之後幾天則遷居澄清湖賓館，當時和夫人宋靄齡來台小住的孔祥熙已84歲，但中風未癒、行動不便，不過剛好宋子文、宋子安[宋子安（1906年－1969年2月25日），祖籍海南文昌，宋氏家族六兄弟姊妹中的幼弟。1928年於美國哈佛大學畢業，先後就任中國國貨公司董事、廣州銀行董事會主席、西南運輸公司總經理等職，較少涉足政治。1948年經香港轉到美國舊金山定居，常往來香港與舊金山之間，1969年香港廣東銀行董事長任內於香港因腦出血病逝，是宋氏六兄弟姊妹最早去世的一人，1971年4月25日，宋子文在紐約因意外去世。]自美來台，因此3人在宋美齡的招呼下一同搭機南下，晉謁蔣介石並共度元宵佳節，蔣介石在澄清湖以豐盛晚宴款待遠道而來的孔宋家人。
◆ 宋美齡的小弟宋子安及夫人胡其英與蔣氏夫婦及孔令儀的合影（左起：宋子安、胡其英、蔣介石、 宋美齡、孔令儀）1963 年初，蔣介石分別親自去電給在美國的孔祥熙、宋子文，盛情邀請連襟和郎舅能閤家到台灣來一塊過舊歷新年，以示家族團聚之意。宋子文接連受到電邀，卻之不恭。宋子文的弟弟宋子安攜家人先於數日到達台灣，下榻在台北圓山大飯店。2 月8 日適逢元宵節， 一家人聯袂前往台灣南部澄清湖，在那裡，東道主蔣介石夫婦以豐盛的晚餐招待了大家。
這是三大家族來台後首度也是最後一次正式聚會。不過三人南下後，宋子文、宋子安住在高雄圓山飯店，孔祥熙則與蔣宋夫婦同住澄清湖。至於陳果夫已逝，陳立夫被遠逐美國，陳氏家族已不復當年。
◆ 黃傑自富國島回台後，在蔣經國家中吃飯合影
1949 年解放軍四野和二野在「宜將剩勇追窮寇， 不可沽名學霸王」的號令下，橫掃華南，國民黨軍隊節節敗退，黃傑率殘部近2 萬人從廣西敗入時為法國統治的越南富國島，加上其他一些殘部和眷屬平民， 入越的人數後來達到33000 多人。兵敗又逃亡他國的偏僻孤島，直到1953 年6 月最終抵台，「海上蘇武」黃傑的一首《憶江南》應是很多官兵那時心境的寫照：「……南國夢，望斷是斜陽，西貢城中燈如錦，暹羅灣上月如霜，微醉立蒼茫。南國夢，長憶故國秋，何日金陵逢故舊，秦淮河畔月當頭，橫笛泛中流。」
宋子文也藉著這次機會，於2月13日在台北見到了1961年即被國民黨宣稱已解除「管束」的張學良；張學良此時會客均仍需事先請示，宋子文此行也不例外。在「聯勤總司令」黃仁霖陪同下，兩人在張學良的北投寓所見面，僅晤談約一刻，宋子文即離去，當天張學良在日記中記載：「多年別來，相見無限淒然。」[宋子文在西安事變營救蔣介石的過程中，與張學良結為好友，但張學良護送蔣介石返回南京後遭到監禁，讓居中穿梭的宋子文與宋美齡相當受挫，外界更質疑宋子文未依承諾保護張學良，對他殊多抨擊，不滿的宋子文更一度對蔣介石嗆聲。張學良當然知道宋子文的為難，因此他在「兩蔣」故去後口述歷史再談宋子文，仍稱兩人是很好的朋友，但也說宋子文「在蔣先生那裡是沒有朋友的，我知道他是沒有力量的」，更直言「蔣先生不喜歡他（宋子文）」，足見其無奈。]宋子文在台期間，後又見過張學良一面，並在張學良住所餐敘，隨即於2月18日因妻傷返美，這兩次見面也成了兩人最後的會晤。之後，宋子文於1971年4月病逝紐約，宋美齡本有意赴美出席告別式，但傳言人在大陸的宋慶齡也將出席，因此突然打了回票，杜絕了外界關於國共接觸的聯想。
其實宋子文與蔣介石關係一直不好，蔣介石1949年後在反省大陸軍事失敗時，還直指經濟財政的失敗才是主因，同時宋子文出任閣揆時為遏止通貨膨脹大量拋售國庫黃金，蔣介石更直斥這是宋子文誤國的最大過錯，並後悔「誤用宋子文一人」。
宋子文去世時，除了宋美齡未出席葬禮，蔣介石也僅送了一面匾額，待遇遠不如孔祥熙。但宋子文外孫女仍說，宋子文在美期間，依舊積極幫蔣宋找最好的醫生和藥物，並把醫生送到台灣替蔣介石看病；宋美齡每次到紐約，宋子文也會代妹約妥當地醫生就診。
至於孔祥熙則於1966年2日28日再度返美，結束台灣為期3年4個月的生活，且從此未再返台，反倒是他的女兒孔二小姐長期留在宋美齡身旁，成為士林官邸的一員。