五代後周顯德六年(959年)，周世宗柴榮病死，七歲的恭帝繼位，時任殿前都點檢、歸德軍節度使的趙匡胤掌握了軍權。翌年正月初，趙匡胤在陳橋驛(今河南封丘東南陳橋鎮)發動兵變，黃袍加身。並率軍入開封，脅迫周恭帝禪位，奪取了皇位。因趙匡胤所領的歸德軍駐在宋州，所以建國號為宋，定都於開封。史稱北宋。宋王朝的建立，結束了自唐末而形成的四分五裂的局面，使中國又歸於統一併逐漸進入中國經濟、文化、科技的鼎盛時期。唐朝最盛時有五千多萬人口，宋朝人口最盛時突破一億。宋人有曰：「生民以來，能濟登茲者，未有如大宋之隆也。」
在宋朝建立之初，為使宋王朝能長治久安，而不致成為繼五代後的第六個短命王朝，北宋王朝除了制定了一系列的政策方針，大力實施「強幹弱枝」政策之外，還致力於結束五代十國的分裂割據局面，特別是當宋太宗聽說，當時仍被北漢統治的晉陽出過好幾個皇帝，是個「龍城」之後，更是親自帶兵攻下太原城，並火燒太原城，再水灌太原城……
太原古稱晉陽，它西依懸甕山、東臨汾河水，地勢十分險要，城堡十分堅固。晉陽城城池堅固，唐以後的五代，這裡幾度被一些野心軍閥作為割據稱雄的堡壘，稱王稱霸，自立為帝。太原經歷了後唐、後晉、後漢、北漢等幾個王朝。
979年，宋太宗親率大軍，來到太原城下指揮攻城。晉陽城高大堅固，使得宋軍損失慘重，內外馬步軍都軍頭王廷義，殿前指揮使部虞侯石漢卿陣亡，大將李漢瓊、荊嗣、呼延贊、韓起重傷，以下將士傷亡者更多不勝數。當時，主要是由於宋已統一中原，平定南方，傾全力攻晉陽一城，晉陽孤城難守，北漢主才不得已降宋。自此，北漢十州全部歸入宋的版圖。五代十國時期最後一個分裂的小王朝被消滅了。
太原城被攻破之後，宋太宗趙光義決定平毀太原城，這是出於多方面考慮的。首先是晉陽城城池堅固，易守難攻，宋軍強攻晉陽造成損兵折將，損失慘重，故宋太宗決心徹底平毀晉陽城以消心頭之恨。其次是當時的李唐是從晉陽起兵而奪取天下，到唐末五代一些割據者又據晉陽爭奪天下，或抗衡中原王朝，望氣者認為晉陽有王者之氣，這是宋太宗要嚴加防範的。再次是宋太宗繼位時，多有道教人物相助、道教附會天象認為：宋起之地為歸德 (今河南商丘市)屬於「商星分野」，而太原則屬於「參星分野」，自古參商不相見，這樣，當中央政權強盛時，太原地區最後才服從，而當中央政權衰弱時，太原則將最先叛亂，因此，不宜把太原列為方鎮，應當降低它的等級。鑒於上述原因，宋太宗決定平毀太原城，讓居民遷往汾水東的新城，把新設立的并州府遷到榆次。居民出城後，宋太宗下令放火，「萬炬皆發，宮寺民舍，一日俱盡」。第二年四月，宋太宗又封堵汾水、晉祠水，灌入太原。古太原城經此火燒、水灌，變為一片廢墟。往日被譽為「錦繡太原城」，並已逾千年的大都會便不復存在了。
太原舊城被毀後，宋太宗又命將太原治所從榆次遷到唐明鎮(即今太原市)。逃出城的百姓逐漸聚集到這裡定居下來。由於此處地理位置十分重要，982年(宋太平興國七年)，宋太宗趙光義派三交都部署潘美在唐明鎮的基礎上，擴大範圍，修築城牆，興建太原城。宋初修建的太原城是一座土城，城池周長5.28公里。築四門：「東曰朝曦;南曰開遠;西曰金肅;北曰懷德。城西南至現迎澤大街北邊，西至現新建路東邊，後小河、東後小河是當時北面東邊的城壕。據說趙宋在新修太原城街道時，都築成丁字街，取其諧音，「釘」破「龍脈」，使太原不再出現「真龍天子」，危及趙宋天下。並忌諱使用「晉陽」、「太原」名稱，而設為緊州軍事，派潘美、楊業把守。
金代詩人元好問《過晉陽故城書事》在講到此事時說：「南人鬼巫好機祥，萬夫畚鋪開連岡。官街十字改丁字，釘破并州渠亦亡。」舊的晉陽城平毀了，但太原的戰略地位並沒有變，當時遼據大同，建遼契丹又為遊牧民族，其騎兵可以隨時南下太原，太原街道修成「丁」字形對阻遏遼騎兵的馳騁是起了積極作用的。