自從在角板山設裕仁行宮開始，當地就維持管制與神秘性；蔣介石在角板山設置行館後，同樣門禁森嚴，除因地屬山區，普通人進出須先申請入山證外，並有憲兵全天候看守，外界頗難窺其堂奧，甚至有人連當地是「總統行館」都不知道。
但因行館可遠眺青山蒼翠重疊與大漢溪上游支流蜿蜒曲折，山嵐雲霧籠罩，溪谷若隱若現，蔣介石一得空，有時一住就是兩三個月，因此據說角板山賓館是蔣介石生前最喜歡前往休憩或避壽的地方。
從許多照片上都可以看見，蔣介石常在角板山台地上擺張籐椅，眺望沉思的樣貌，他也常帶著孫輩在角板山遊山玩水，留下很多合照。不過當時山區道路根本未開闢，只有載運物資的台車道，想往角板山須從大溪前往。只是汽車就算勉強開到附近，也只剩山區小徑，當時已年過60歲的蔣介石因此是坐轎子上山，宋美齡當然更不在話下。
這批轎夫是蔣介石由大陸整班帶出來的老人，平時在官邸內兼作園藝等工作，等蔣介石或宋美齡到角板山等山區時，會帶兩頂轎子6名轎夫上山，轎夫步行如風，有時連侍衛也跟不上。
由於遠離都市且通信不便，蔣介石在行館多半不看公文，不看報，白天打橋牌，晚上看電影。但因山區顛簸，宋美齡沒有蔣介石如此常上角板山。但生活西化的宋美齡每到角板山行館，最愛的下午茶就是姜餅配上熱巧克力，與蔣介石相伴欣賞美景。行館門口兩棵老榕樹更是1950年由蔣宋兩人手植，並立下石碑紀念，至今仍枝繁葉茂，有如天然的綠色大門，當地人稱「永結同心」。
賓館內參天黑松也蔚為壯觀，蔣宋兩人也常攜手散步聽松濤，據說蔣介石還常強調，「老樹之能挺立參天，在其有深根也，大丈夫要能挺立天地之間，當有其骨氣與信心」，「本無動搖，能生萬物」，借此來勉勵子孫。直到近來，黑松才逐一枯死。
雖然升格為「總統行館」，蔣介石對房舍並沒什麼更動，館內設有客廳、餐廳、廚房、主臥房、客房與書房，侍衛和隨從住在行館後方一排宿舍；裝潢采英式古典沉穩風格，傢俱也是擇深褐色雕花搭配花布沙發。