大溪，古名「大姑陷」，源自平埔族凱達格蘭人霄裡社等台灣少數民族對大漢溪、大水的稱呼。境內群山聳立，東南有角板山、水流東山，北有鳥尖山、插天山，西臨八德、龍潭台地，並有大漢溪南北貫流，多年侵蝕讓河的東岸形成了一列懸崖，高約50米，蔣介石行館正是位於崖邊南北狹長、向西突出的台地上，居高臨下，視野遼闊。
清代雍正年間，大溪開始有漢族移民入墾，建立街肆；道光年間，林本源家族為避漳泉械鬥之禍，移居至大溪，招募墾民。劉銘傳任台灣巡撫後，於光緒十三年（1887），在大溪設置全台撫墾總局，以「大嵙崁」名之，直到日據時期廢廳設州，才正式改名「大溪郡」。
大溪今日的老街景色，源自大嵙崁在英法戰爭後被英國列入淡水港範圍，成為淡水河系內河航運最上游河港，也是台灣地區最早期通商口岸之一，許多洋行均設點從事茶葉、樟腦買賣。當年各商船均停泊在大溪崖邊供貨物集散，俗稱「崁津」，佇立崖緣即可俯瞰大溪古吊翁橋四周風帆雲集，而以「崁津歸帆」列入「台灣十二名勝」。
日據時期，殖民政府於1912年開闢大溪公園，成為全台最早的公園之一，日本人除了於1932年在公園南端興建「公會堂」，由三座單棟建築組成，提供地方集會典禮使用外〔大溪地區最早興建的公會堂，於1921年設於鄰近公園旁的普濟路街區，1923年4月25日，日本裕仁皇太子「御使差遣」（侍從官）前往角板山巡視時，也是以大溪公會堂作為中午進餐與休憩場所，不過之後則被新建成的大溪行館所取代。〕，並在園內新建了大溪神社。1945年日本戰敗，大批日本象徵性建築，如全台各地日本神社等陸續被破壞搗毀，大溪神社也不例外，不但被剷除，正殿礎石舊址還蓋上一座三層樓高的超然亭；公會堂則被保留下來，但改名為「大溪中山堂」，也因緣際會地被陳誠列在蔣介石行館名單之上。
1949年6月21日，蔣介石結束西子灣行館停留行程，轉赴岡山搭機北上，再乘車趕往桃園大溪行館留宿。當他看到溪口酷似家鄉的清幽景色，百感交集，雖只停留幾天，卻念念不忘。他召見當溪中學校長傅緯武時就曾說，「這是我的第二故鄉，大溪中學就等於武嶺學校」。就連蔣經國也說，大溪山水很像溪口，氣候特別涼爽。
不過在大溪行館停留沒多久，蔣介石就因為要穩住菲律賓，同時推銷「反共民主陣線」構想而準備出訪並會見菲律賓總統季裡諾，為不失禮儀，極少穿西服的蔣介石甚至從台北請來一位老師傅，在大溪行館連夜縫製了一套出訪時穿著的全新西裝，這是蔣介石晚年少見著西服的正式場合，更是蔣介石來台後的第一套西裝，目前保留在大溪行館。
緊接著，為召開東南整軍會議，蔣介石結束大溪行館的短暫停留，於6月24日上午9點抵達台北，入駐草山賓館，並宣佈成立「東南軍政長官公署」，之後蔣介石即搭機出訪，展開另一段挽救敗局而奔波的倉皇歲月。