即便如此，當時還是有很多人主張紀念堂應選擇山明水秀之地，不宜建在喧囂的台北市營邊段，畢竟市中心不夠莊嚴肅穆。例如黃傑就認為，市中心黃金路段蓋紀念堂太可惜，應設立在陽明山等處，相關意見還通過蔣介石的醫生熊丸轉達給宋美齡。
也有人主張，蔣介石生前喜游名山大川，每當決定大計時，均會擇秀山明湖處靜思。因此紀念堂宜依山面水，除了慈湖外，形勢巍然的圓山山麓以東，或忠烈祠附近地區，都比較合適。
當時蔣家檯面上還是由宋美齡當家，熊丸回憶，他將黃傑等人意見轉達宋美齡後，宋美齡去問蔣經國意見，蔣經國除了向宋美齡強調「決定了就不該更改」，還說，營邊段雖然是市中心路段，但比照各國紀念堂多建在市中心，況此舉亦可增加市民空地，市民會多一處休閒場所。選址之事就此拍板定案。熊丸事後承認，找宋美齡進言一事略嫌魯莽，此舉也絕對會讓蔣經國心裡不痛快。
只是營邊段原先開發計劃一變，不但台北市政府要另找他地棲身，世界貿易大樓及展館計劃跟著延宕，因此原先打算臨時興建展覽交易館也只好暫時保留，之後為在當地興建兩廳院等設施，幾經波折地搬遷到松山機場航站大廈的外貿會場，最後拖了5年多才納入信義計劃副都市中心規劃，坐落在如今基隆路與信義路交叉口處。
至於中正紀念堂應該有的外形、功能，同樣也是風波不斷。由於為蔣介石建紀念堂一事茲事體大，有象徵意義，當時許多建築師都建議，應比照美國林肯紀念堂方式，仿照古希臘神廟設計，以高大宏偉建築與銅像營造肅穆莊嚴感，專供中外人士瞻仰憑弔之用；財力所及再在紀念堂周圍興建音樂廳、戲劇廳、博物館，甚至體育館。
但紀念堂設計到底該采抽像式、西洋式，還是宮殿式，各界實在看法不一，尤其當年蔣介石在台北興建孫中山紀念館，即是采美國「林肯中心」的綜合性多用途功能建築物規劃，強調廳內設施兼具娛樂功能，最後呈現結果卻有些顧此失彼，專業設計方面並不理想，更有不少聲音質疑，為何要模仿美式建築而非采中式宮殿建築樣式，也平添許多變量。
當時籌備小組公開對外甄選設計圖，共投稿43件，5件入圍，國際競圖時雖曾要求作品須具現代風格，但結果卻是參選作品中唯一不具現代風格的作品得標，採用楊卓成建築師所屬和睦建築師事務所設計。
楊卓成是湖北人，1940年自中山大學建築工程系畢業後，在美國著名的J．G．懷特公司擔任建築師8年，他晚年旅居洛杉磯，2007年年底去世，享年92歲。
楊卓成絕非泛泛之輩，作品通常都是以鋼筋混凝土材料表現中國北方宮殿建築特色，並以中國現代建築自許。台灣多座地標性建築都是出自他的手筆，包括圓山大飯店、慈湖行館、清真寺及士林官邸設計，都是由他經手，足見蔣介石與宋美齡對他的信賴。
至於中選的紀念堂設計款式，屋瓦采雙層，角形藍色琉璃瓦面，屋頂置有高達12米的金黃色寶頂，與象徵「青天」的藍色琉璃瓦相輝映。紀念堂大門則採用包銅的雙扇鐵門，高16．5米，寬12米，重達75噸，要靠電力操縱。
楊卓成也說，蔣介石早在1966年就曾對孫中山紀念館建築作原則指示，「應在外形方面加強中國建築特色」。因此他設計中正紀念堂，首先確定方向就是要「發揚民族文化，以現代科技建造代表中國傳統的建築」。
俞國華隨後宣佈設計方案已然定案，其中紀念堂將佔地8000平方米，建蔣介石像，並陳列他一生勳業的有關文物；「國劇院」佔地1900平方米，可容納1200個座位，作為國劇、話劇及小規模音樂演奏之用；音樂廳佔地1700平方米，規劃有250個座位，作交響音樂演奏及大規模表演與集會之用。至於中正公園部分佔地15萬平方米，將建造水池、瞻仰大道及遍植松、柏等花木。
當時國民黨初步估計全部工程約需經費新台幣10億元，至於各界捐獻在動工前已達新台幣14800多萬元，另包括遠東百貨公司及嘉新水泥公司捐出8萬噸水泥，相當於工程所需水泥用量一半。瞻仰大道兩側9米鋪道花崗石板由金門特產花崗石切片而成，是金門開挖戰地所得。余如玻璃、花木等也多由各界人士捐出，工程由榮民工程處負責。
1976年10月31日上午11點，中正紀念堂破土興工，由當時的台灣地區代領導人嚴家淦與國民黨大佬張群主持，當天也是蔣介石九秩誕辰紀念日。張群也宣佈將分兩期辦理計劃，第一期先設計建築中正紀念堂及中正公園，第二期再完成音樂廳及「國劇院」。
在動工同時，安放在本堂的蔣介石銅像，也由曾打造孫中山紀念堂銅像的名雕塑家陳一帆趕工設計。雖然楊卓成原打算紀念堂內部應擺設大理石雕像，以突顯仁慈博愛的表情，避免出現銅像太暗淡，缺乏溫和氣質等問題。不過最後雀屏中選的仍是一尊蔣介石身著長袍、神態慈祥的坐像。坐像高度為6．3米，基座高度為3．5米，合計9．8米，約有三層樓高。銅像重量將近25噸，約正常人100倍大。
出身空軍機校的陳一帆沒受過正統藝術教育。1949年隨軍隊從福建長樂來台，隨藝術家劉獅、張永昌等人習藝，頗受肯定，並曾以《祖孫同樂》作品獲得中山文藝獎，包括於右任銅像、台北故宮博物院、中興新村內銅像，都是他的傑作。陳一帆設計的銅像是採用蔣介石70歲後的造型，身著長袍，坐在太師椅上，雙手扶著椅子的把手，長袍垂下，露出皮鞋，強調他英明睿智、平易近人。此銅像是從近百件應徵作品中脫穎而出的。
◆「自由廣場」牌匾
這座中正紀念堂牌樓，面對中山南路及「國家圖書館」，高30 尺，是台北市區內最大的牌樓。2007 年12 月8 日之後，「自由廣場」四字替代了「大中至正」，一直延續至今。馬英九當選台灣地區領導人之後，專門就不更名問題作出解釋，認為曾經「教育部」就廣場的名稱問題召開了三次公民論壇，經過討論，決議使用「自由廣場」之名稱，他個人亦認為「自由」並非對先「總統」之不敬，因此不再做更改。
蔣經國在塑像過程中多次前往探視，並要求陳一帆修妥面部表情。為求神似，陳一帆決定銅像各部位以視覺透視原理放大，而非根據比例大小放大。由於銅像體積實在太大，總計光是銅像泥塑部分，就用了30噸油泥，並在木柵「革命實踐研究院」廣場著手雕塑；完成灌石膏外模後，並剖成200多塊制塑鋼內模，另以25噸青銅完成鑄銅、焊接工作。銅像背後大理石牆刻著「倫理、民主、科學」六字，與「生活的目的在於增進全體人類之生活」「生命的意義在於創造宇宙繼起之生命」等名言。
在公園方面，也請來曾設計南京孝陵衛前庭園，以及武陵農場行館、梨山行館、大溪行館等蔣介石生前各地行館的設計人、老師傅胡國禮主持，耗資約五六千萬元，取材皆為上上之品，花木總數約50餘萬株，500餘種，假山石材總重1600餘噸。庭院內雲漢池及光華池飼養許多錦鯉，取名則寓意「漢影雲根」及「光復中華」。
紀念公園共分三大區，即中央瞻仰大道區、兩旁自然景觀區及紀念堂後面的「虎背」區，共25景，其中公園正門即豎立高約30米的寬廣石製牌樓、「大中至正」門，采「五間六柱十一樓」規格，即總計五間、六柱有11個屋頂，是仿明十三陵神路的牌樓設計。紀念公園東西兩側也有尺寸較小的大忠門、大孝門牌樓。
至於牌樓上的「大中至正」四字為歐陽詢體，系由蔣介石的文膽秦孝儀指定，出處是王陽明的《傳習錄》：「粹然大中至正之歸矣」，委由書法家楊家麟書寫，當時招募書法家時即規定需以歐體書寫、不得落款，且需配合時辰當場揮毫，因此原字系由棍棒、鐵絲縛以麻繩沾紅土水寫成。至於大忠門、大孝門牌匾也是由楊家麟代筆。
中正公園另一特色就是原擬動手拆除的迴廊式圍牆，不但房頂以高級琉璃瓦裝飾，而且全長1200米的圍牆牆面上，更有18種、246個中國式窗格的美麗造型。迴廊內側還可供遊人避雨，觀看花草扶疏的美景，是相當貼心的設施。
由於建築龐大，當時的建築技術又不甚發達，因此紀念堂在實際操作上困難重重。先是為堅固、接縫無隙，本堂混凝土施工要嚴格控管。至於八角形屋面防水工程，原採取傳統防水方式，塗一層瀝青、鋪一層油毛氈，共塗7次瀝青。但因屋頂過高，燒熔瀝青輸送到屋頂後可能已幹掉，加上工作空間狹窄、屋頂斜度太大，瀝青不易掛上，最後改採防水膜替代。