但是陳水扁為配合「去蔣化」攻勢，以浪費公帑為由，要求蔣家盡速將「兩蔣陵寢」從慈湖、頭寮遷走，移靈到五指山「國軍公墓」下葬。民進黨也說，撤哨是民進黨政府落實轉型正義、面對歷史的一部分，未來「陵寢」也會改稱墳墓、墓園或墓地。
事實上，民進黨長期以浪費人力、公帑為由對「兩蔣陵寢」提出批評，但相較於「兩蔣陵寢」初期警力、憲兵編製多達600人，宣稱「防範不法人士對陵寢惡意破壞、騷擾死者安寧與縱火」，後期其實僅剩一連約80人的憲兵駐紮慈湖，一排兵力駐守頭寮，警力大幅縮編三分之二，陵管處人員僅30人，全年預算不到新台幣260萬元。當地維安工作的目的也改成防止「榮民」滋事、向「兩蔣」哭靈，或防止藍綠相互衝擊。
消息傳出後，蔣孝嚴批評陳水扁趕盡殺絕，堅持不同意由陳水扁主持「兩蔣」遷葬。蔣經國三兒媳蔣方智怡更口出驚人之語，強調移靈五指山的時間點已過，家屬會遵照蔣經國日記遺願，將「兩蔣」遺體移回浙江奉化老家安葬。她也說，「兩蔣」對這塊土地，已奉獻畢生心力，如果「國家」現在不願意再繼續照顧，還說是蔣家的家事，就讓蔣家人接手。
不過由於正值選舉，加上陳水扁見縫插針，批蔣家不識大體，為免激化藍綠對決，影響選情，蔣家決定暫緩相關做法，僅由第四代蔣友柏發言，強調「兩蔣」移靈若民進黨界定為「國事」，陳水扁須比照嚴家淦慣例，依「國家元首」規格對待，遷葬五指山，經費須由政府負擔；若民進黨不願當成「國事」處理，而是蔣家家務，就應尊重蔣家決定。
蔣友柏也說，就他個人的意見，將會遵守曾祖父、祖父的遺言，把遺體燒成骨灰移靈浙江溪口，費用也不用民進黨政府來負擔。至於骨灰如何送回去，如何與對岸協調，蔣家自有方法。
眼看被蔣家打到「國葬」的痛腳，陳水扁只能沉默以對，但慈湖撤哨、封館卻已成事實。不過直到政黨輪替後，相關爭議也戛然而止。