總計蔣介石三度登阿里山，除休息住宿，更是為避壽，躲開台北官場的送往迎來。不過20世紀50年代後期，他未再光臨阿里山。但由於考慮到蔣介石仍可能前來「駐蹕」，行館因此不對外開放，雖然每天都有管理人打掃，但門禁管制森嚴。除少數貴賓外，其他人均不得擅入。事實上，當時台灣山區屬於軍事管制區，出入都受嚴格管制，除非正式申請入山證，一般人連到阿里山遊覽都相當麻煩，遑論想住進貴賓館。
至於行館屋內簡樸素雅，有「總統」房、夫人房、會客室及侍衛房，也有幕僚休息室、會議室及浴室、廚房等設施，但房間內只有簡單的幾張床鋪及暖爐。至於行館內部擺設，包括中西桌椅寢具與各項器物，一直保持蔣介石進住時式樣，沒有太大改變，只是相較其他行館似乎較為冷清。倒是行館原本檜木原色不知何時被塗上深綠色油漆。
其間行館一度整建、維修，但也僅在園內增添梅花、海芋及野百合等花卉，或在外圍步道栽種紫色毛地黃和海芋、菊唐草等觀賞植物。倒是庭園造景雅致，除有紫籐花棚，因海拔高度與濕度均適合，館前山坡有眾多一葉蘭〔一葉蘭，系台灣高山原生蘭之一，以阿里山鐵路旁數量最多。為蘭科觀花植物，多年生常綠宿根性草本，葉自根部抽出，直立向上生長，只長一片葉子就開花，故稱之為一葉蘭。〕生長，淡紫色花蕊滿佈在綠草如茵山坡，相當醒目。
阿里山在1963年停止官營伐木事業，轉型森林遊樂區，憑藉著多樣性動植物生態，絕美的雲海、日出、晚霞，及每年賞楓、賞櫻時節的繽紛，成為最受民眾青睞的遊憩地，只是行館依舊是禁區。反倒附近有棟造型類似的日式檜木屋——第一員工寄宿舍，原本為裕仁的隨員、侍衛所預備，以便就近執勤，內部為日式通鋪，每間房可容納8至12人；蔣介石入住行館時，隨從也在此入住。
因廣植吉野櫻，花期景致十分壯觀，加上離民居較近，所以意外成為賞櫻的好去處。
直到1998年，林務單位才將行館有限度開放供遊客參觀，但無法住宿。之後經歷「九二一」大地震，山區受創嚴重，祝山觀日樓因結構毀損而被拆除，高山森林鐵路位移坍塌，行館內會議室煙囪倒塌，部分牆壁剝落，整棟行館被貼上危樓黃單，直到2002年才修復完成，再度對外開放，但僅在星期三開放參觀。