公元581年，楊堅接受北周靜帝的禪讓，登基為帝，定國號為大隋，改元開皇。楊堅就是隋文帝。
就在楊堅登基後不久，突厥人便以北周兄弟之邦自居，打著為北週報仇的旗號，攻入長城，一路燒殺搶掠，無惡不作。其實，突厥人是因為漠北草原遭遇災荒，無法生存下去才到中原來搶東西的。在隋朝建立之前，北週一直與突厥交好，每年都會向突厥納貢。楊堅建立隋朝後，既不向突厥進貢，也沒有為處於困境中的突厥提供援助，這使得突厥的沙缽略可汗非常生氣，所以才命令突厥騎兵進入關內燒殺搶掠。
楊堅接到消息後，立即調兵遣將，抵禦突厥騎兵的騷擾。但是，隋軍與突厥騎兵交戰多次，勝少負多。楊堅正打算要吞併陳朝，如果不能徹底地征服突厥，那麼他吞併陳朝的大計必然受到影響。
就在楊堅為此煩惱的時候，北周將領長孫晟出現了。長孫晟曾送過北周的公主去突厥和親，在突厥人的領地裡生活過一年。在這一年的時間裡，他結識了很多突厥貴族，突厥的沙缽略可汗有一個德高望眾，非常有心計的弟弟，名叫處羅侯。沙缽略可汗妒賢嫉能，總是擔心他的弟弟會對他造成威脅。處羅侯知道這件事後，便來找長孫晟幫忙。他希望借助隋朝的力量，幫助他對付他的哥哥。長孫晟見到楊堅後，提出了利用突厥各部落之間的矛盾，扶持勢力小的部落，以此抵制強大部落的策略。楊堅覺得這個方法可行，便決定按照長孫晟的方法來對付突厥。
此後，楊堅派使者前往西域，與那裡的突厥達頭可汗結交。為了離間突厥各部落之間的關係，楊堅還故意賞賜給達頭可汗狼頭纛和其他財物。沙缽略可汗知道這件事後，果真對達頭可汗產生了猜疑。楊堅還派長孫晟攜帶著大量金銀珠寶，去結交契丹、奚等部落。長孫晟還去與處羅侯見面，挑撥他與沙缽略可汗的關係，希望他能夠與隋朝站在一邊。
沙缽略可汗被一步步孤立起來。他非常生氣，打算率領大軍教訓一下隋朝。在這個時候，長孫晟卻散佈謠言說，臣服於突厥的鐵勒部落派兵對突厥的牙帳進行了襲擊。沙缽略可汗對此深信不疑，很快就率領大軍返回了漠北。
公元583年，楊堅看到時機已經成熟，便下達了向突厥反擊的命令。隋朝數萬大軍兵分八路，向漠北挺進。雙方主力部隊在白道川（今內蒙古自治區呼和浩特西北）相遇。沙缽略可汗佔據著地利優勢。他認為隋軍的戰鬥力薄弱，根本就不敢向突厥大軍發動進攻。可是，隋軍很快就讓他為輕敵付出了代價。隋軍主力向突厥的軍營發動猛烈的攻擊，打得突厥軍隊潰不成軍。此後，隋軍乘勝追擊，將突厥各部可汗一一擊敗，取得了對突厥戰爭的重大勝利。突厥各部逐漸衰落下去，再也無法對隋朝構成威脅了。
此後，楊堅又在政治、經濟等方面進行了一系列的改變，使得隋朝的國力不斷提升。
隋朝建立後，楊堅就發現，地方官制存在著編製混亂，官員隊伍臃腫的弊端。當時有些地方的居民只有幾百戶，竟然歸兩個郡管轄；有些地方不足百里，卻設置了好幾個縣；有些縣竟然只有三四戶百姓。很多年輕人進入官場之後，面對著名目繁多的行政區劃和官職名稱，竟然不知所措，往往需要花費很長時間才能夠熟悉。
面對著如此混亂的局面，楊堅並沒有退縮。他制定了「存要去閒，並小為大」的原則，開始大規模地整頓地方官制。
首先，楊堅取消了郡制，將前朝沿用已久的州、郡、縣三級制度改變為州、縣二級制度，縣直接歸州管轄。後來，楊堅又把州改為郡，形成郡、縣二級制度。
其次，楊堅又創製了很多制度來防止地方官員勢力過大，貪贓枉法等問題出現。比如規定地方官員的任期為三年，三年之後必須離任；規定官員要「異地為官」，不能在自己家鄉所在的州縣做官；禁止官員在地方兩次擔任相同的職務，等等。
第三，將漢代以來形成的地方官員自主選擇用手下的制度廢除。在隋朝之前，地方官員有自主設置官吏的權利，如此一來，那些地方官員很容易形成主僕關係，地方割據勢力便會出現，不利於朝廷的統治。楊堅將這一制度廢除，並讓吏部掌管地方官員任命和考核的權力，各級地方官員便只能聽命於中央了。
第四，楊堅還規定地方的太守或者副手每年年底都要進京述職，從而加強了對地方官員的控制。
除了改革地方官制，楊堅還在中央確立了三省六部制，使得皇權得到加強。
經過楊堅的努力，隋朝在建立後的二十年裡，出現了天下太平，百姓安居樂業的局面。這種局面被稱作「開皇盛世」。