楊堅登上帝祚不久，大殺周朝宗室文帝子孫25家，閔帝子孫及明帝子孫6家，武帝子孫12家。宇文的兒子宇文衍禪位後即被殺，時年9歲;宇文另外兩個幼子還在懷抱之中，為斬草除根，也被楊堅誅殺。其餘宇文宗室疏屬，幾乎為楊堅誅殺無遺，成千上萬的鳳子龍孫均於一年多內慘遭屠戮。開皇六年，又把三個老朋友劉昉、梁士彥、宇文忻一併殺掉，殃及其子輩。這些鞏固帝祚的血腥屠殺，使得楊堅給後人留下了一個「沉猜陰狠」的印象。
其實，對於一個帝王來說，奪天下只是基業常青的第一步，如何治理天下才是最為關鍵的。在治理天下上，楊堅為之獻出了他的餘生，可算是一位有為之君。
《屍子》曰：「德者，天地萬物得也;義者，天地萬物宜也;禮者，天地萬物體也。使天地萬物皆得其宜、當其體者，謂之大仁。」德義禮兼備，就是大仁。
楊堅對平民百姓實行寬仁的政策。即位當天，悉除北周苛政，大赦天下。長安城內萬民歡呼雀躍，新貴名流欣喜若狂。長安東西兩市一百一十坊，四面立邸，夜不閉戶，彩光繽紛，載笑載樂，共慶隋皇朝之興。
北周的法律既殘酷又混亂，「內外恐怖，人不自安」。在他的直接組織下，著名的《開皇律》誕生了。《開皇律》是在北魏北齊的刑律基礎上，廢除了許多酷法，減輕、剪裁了一些刑律刪修而成的。律法明晰，比北朝先前的朝代寬明許多，並取消了梟首、車裂等酷刑(後來又被煬帝恢復)。其中有冤可以逐級上訴，直至皇帝親自處理這項規定，是以前各代所沒有的。日後著名的《唐律》，基本脫胎於《開皇律》。清初著名思想家王夫之對此大加讚賞，「今之律，其大略皆隋裴政之所定也。(裴)政之澤遠矣，千餘年間，非無暴君酷吏，而不能逞其淫虐者，法定故也」。隋文帝統一了幣制，廢除其他比較混亂的古幣以及私人鑄造的錢幣，改鑄五銖錢。度量衡在隋文帝時重新統一。
楊堅特別注重獎廉懲貪。據史載，岐州刺史梁彥光治理本州「甚有惠政」。楊堅到岐州視察，對他的政績十分滿意，當即下詔予以嘉獎，並號召各地官員向他學習。汴州刺史樊叔略，由於在任內「甚有聲譽」，遂陞遷為相州刺史。在相州任上，他每當考核時，又都被評為政績第一。楊堅非常高興，也對他親下璽書嘉獎，賜物300段，粟500石，頒示天下。趙軌任齊州別駕時，在職4年，「考績連最」，楊堅又嘉獎他物300段，米300石，隨後召入朝廷任職。當他離升齊州時，父老鄉親揮淚相送，紛紛說：「別駕在此任官，從不收受賄賂，猶如水火不相交，所以我們不敢以壺酒相送。您清廉若水，請飲一杯清水為您餞行。」趙軌雙手接過那杯水，一飲而盡。楊堅聞聽此事，又先後提升趙軌為硤州刺史、壽州總管長史，將他樹為全國官吏學習的榜樣。
相反，對貪官污吏，楊堅則嚴懲不貸，毫不手軟。楊堅的第3子、秦王楊俊，曾在滅陳戰爭中立過大功，頗受文武百官的敬仰，也深得楊堅的寵愛。後來卻「漸奢侈，違犯制度，出錢求息，民吏苦之」。楊堅獲悉此情，立即派人查辦，楊俊不思悔改，仍舊我行我素。楊堅極為憤慨，毅然罷了他的官，將他禁閉起來。有人為楊俊求情，楊堅堅決表示：「法不可違！」還說：「以周公之為人，尚誅管、蔡，我誠不及周公遠矣，安能虧法乎？」楊俊臨終前遣使奉表向父皇謝罪，楊堅還是不寬宥，對使者說：「我戮力關塞，創茲大業，作訓垂范，庶臣下守之而不失，汝為我子而欲敗之，不知何以責汝！」楊俊既慚愧又畏懼，致使病情日益加重。開皇二十年，病死於秦邸。
獨孤皇后有位姑表兄弟，名叫崔長仁，官任大都督。他依仗自己和獨孤皇后的關係，經常搜刮民財，索賄受賄，還逼死了7位年輕貌美的女子。楊堅聞報，遂將崔長仁判了死刑。
楊俊、崔長仁的下場，大大震懾了朝廷內外所有官吏。於是，貪污案件急劇下降，廉潔風氣日趨濃厚。
楊堅還很崇尚節儉，他曾教訓太子楊勇說：「自古以來的帝王，如果奢侈就一定不能長久，你一定要厲行節儉。」
開皇初有戶三百六十餘萬，平陳得五十萬，後增至八百七十萬。隋文帝大行節儉之風，提倡儲糧備災，積穀防饑，故廣設倉庫，分官倉、義倉。官倉作糧食轉運、儲積用，義倉則備救濟之需。隋朝的官倉、義倉儲積粟帛為歷朝之最，「資儲遍於天下」，能供五、六十年之需。經過隋末天災人禍，唐朝立國二十年後，隋朝在各地的庫儲尚未完全用盡，可以想見其數量的駭人之巨。義倉制度後世王朝都跟著實行。
「七德既敷，九歌已洽，要荒鹹暨，尉候無警。於是躬節儉，平徭賦，倉廩實，法令行，君子鹹樂其生，小人各安其業，強無凌弱，眾不暴寡，人物殷阜，朝野歡娛。二十年間，天下無事，區宇之內晏如也。考之先王，足以參蹤盛烈。」這就是隋書裡的「開皇之治」。
楊堅所興隋帝國是經濟最富庶的朝代之一，僅憑開皇之治就足以彪炳千秋，名傳萬載。於歷史而言，楊堅堪稱「大仁」之帝。