楊素字處道，弘農華陰人。
祖父楊暄是魏朝的輔國將軍、諫議大夫。
父親楊敷為北周的汾州刺史，死於北齊。
楊素小時候窮困失意，不拘小節，有遠大的志向。
世人都不理解他，只有他的堂叔祖、魏朝的尚書僕射楊寬認為他很不一般，常對子孫說：「處道不是一般的人，他日一定出類拔萃，無與倫比，不是你們趕得上的。」楊素後來和安定人牛弘志同道合，他們勤奮好學，研究探討精心專誠，從不感到疲倦，因而很多方面都精通或者涉獵。
他善於寫文章，善長草書、隸書，很留心通過觀察風向占卜吉凶。
楊素長髯豐額，有一副英雄豪傑的儀表。
北周大塚宰宇文護召他當了中外記室，後轉任禮曹，升任為大都督。
周武帝親自統領一切事務後，楊素因父親堅守氣節在齊喪生，沒有得到朝廷的封賞，就上表申述道理。
武帝沒有應允，他又一再堅持。
武帝大怒，命令左右將其斬首。
楊素理直氣壯地說：「我給無道的天子做事，死是應該的。」武帝壯其言，於是追封楊敷為大將軍，謚號「忠壯」，並拜楊素為車騎大將軍、儀同三司，逐漸被禮遇。
武帝命令楊素起草詔書，他一揮而就，而且詞藻文義均美。
武帝嘉獎他，對他說：「好好努力，不愁日後沒有榮華富貴。」楊素應聲回答說：「我只怕富貴來逼我，我卻無心謀取盎貴。」平定北齊時，楊素請求率領父親先前的部下作先鋒。
武帝應允了他，並且賜給他一條竹鞭，說：「我正要驅使天下，所以把這件東西賜給你。」楊素跟隨齊王宇文憲在河陰和齊人交戰，因戰功被封為清河縣子，食邑五百戶。
這年武帝又授予楊素司城大夫之職。
第二年，楊素又跟隨宇文憲攻取晉州。
宇文憲屯兵於雞棲原，北齊國主率領大軍攻來，宇文憲因害怕連夜逃走，齊軍緊追不捨，宇文憲部下大多失散。
楊素和十多位驍勇之將竭力苦戰，才使宇文憲倖免於難。
這以後，楊素屢建戰功。
北齊平定後，楊素被加官為上開府，改封為成安縣公，食邑一千五百戶，並賞賜給他糧食、布帛、奴婢、牲畜。
後來楊素跟隨王軌在呂梁擊敗陳將吳明徹，管理東楚州的事務。
武帝又封他的弟弟楊慎為義安侯。
陳將樊毅在泗口築城，楊素擊走了他，並蕩平了他所築的城牆。
周宣帝登基後，楊素繼承了父親臨貞縣公的爵位。
宣帝又封他的弟弟楊約為安成公。
不久跟隨韋孝寬巡行淮河以南，楊素又單獨攻下了盱眙、鍾離兩地。
高祖當丞相時，楊素便與高祖深深交好，高祖很看重他，派他做汴州刺史。
赴任途中，走到洛陽，恰逢尉遲迥叛亂，滎州刺史宇文胄佔據虎牢和尉遲迥相應，楊素不能前行。
高祖拜楊素為大將軍，調發河內之兵進攻宇文胄。
打敗宇文胄後，楊素升為徐州總管，又進位為柱國，加授清河郡公，食邑二千戶。
他的弟弟楊約也被封為臨貞縣公。
高祖受禪後，加封楊素為上柱國。
開皇四年(584)，拜他為御史大夫。
楊素的妻子鄭氏性情凶暴蠻橫，楊素曾怨恨地說：「我如果當了天子，你一定不能作皇后。」鄭氏把這話奏給高祖，他因此被免官。
高祖正想謀取江南，這之前，楊素曾多次進獻奪取陳國的計策，沒多久，高祖就拜楊素為信州總管，賞賜給他錢一百萬、錦一千段、馬兩百匹而派他去信州。
楊素住在永安，造了一種大船，名叫五牙，上面建了五層高樓，高達一百多尺，前後左右共配置了六部名為「柏竿」的戰具，都高五十尺。
船上可容納八百多名士兵，旗幟放在上邊。
另外一種船，稍稍小一些，起名黃龍，可配置士兵一百來人。
其餘的平乘船、舴艋舟，各有不同。
等到大舉伐陳時，高祖封楊素為行軍元帥，率領水軍奔赴三硤。
大軍行至流頭灘，陳將戚欣憑借一百多艘青龍船，屯兵幾千人駐守在狼尾灘，阻擋大軍去路。
那裡地勢峻峭險要，將領們都憂心忡忡。
楊素說：「成敗在此一舉。
如果我們白天乘船而下，他們就會看見我們，灘險水急，天制不由人力，那麼我們就失去了有利的條件。」於是決定在夜裡攻其不備。
楊素親自率領上千艘黃龍艦，命令士兵把枚銜在口中，悄悄順流而下，並派遣開府王長襲率領步兵從南岸進攻戚欣另外的營寨，命令大將軍劉仁恩率領披甲持械的騎兵進攻白沙北岸。
天快亮的時候，隊伍都抵達了目的地。
進攻敵軍，戚欣大敗而逃，他的部下全部被俘。
楊素安撫俘虜後送走了他們，秋毫無犯，陳國人非常高興。
楊素率領水軍繼續東下，大小戰船鋪滿了整了江面，旌旗盔甲在陽光下鮮艷耀眼。
楊素端坐在平乘大船之上，容貌體魄雄健魁偉，陳國人望而生畏，都說：「清河公就是長江之神啊！」陳國南康內史呂仲肅屯兵岐亭，正好佔據了江峽。
他在北岸鑿穿岩石，連接了三條鐵鎖鏈，橫斷長江上游，用來阻擋戰船前進。
楊素和仁恩先登陸攻打呂仲肅的營寨，呂仲肅的隊伍夜裡潰逃，楊素從容地除掉了那些鐵鏈。
呂仲肅又佔領荊門的延洲。
楊素派巴..之地的士兵一千人，分乘四艘五牙船，用船槳擊碎了十多艘敵艦，於是大破敵軍，俘虜敵兵兩千多人，呂仲肅一人逃脫。
陳後主派信州刺史顧覺鎮守安蜀城，荊州刺史陳紀鎮守公安，他們都因害怕楊素而退走。
從此，巴陵以東無人敢守。
湘州刺史、岳陽王陳叔慎派使節懇請投降。
楊素順流而下，直抵漢口，和秦孝王會合。
班師回朝後，高祖拜楊素為荊州總管，晉封郢國公，食邑三千戶，實食長壽縣的一千戶。
高祖又封他的兒子玄感為儀同，封玄獎為清河郡公。
並賞賜綿絹一萬段，糧食一萬石，還有一些黃金、珠寶，又把陳後主的妹妹和女樂十四人也賞賜給他。
楊素對皇上說：「鄉里名叫『勝母』，孝子曾子就不進去；叛逆之人王誼，以前曾分封於郢地，我不想和他一樣。」於是高祖改封他為越國公，不久又拜納言之職。
一年多後，轉任內史令。
不久，江南人李稜等聚眾叛亂，多的達幾萬人，少的也有幾千人，互相響應，殺害官吏。
高祖任命楊素為行軍總管，率眾討伐。
叛賊朱莫問自稱南徐州刺史，以重兵佔據京口。
楊素率領水軍從揚子津攻入，進而擊敗了他們。
晉陵的顧世興自稱為太守，和他的都督鮑遷等又來拒戰。
楊素迎戰破敵，活捉鮑遷，俘虜敵兵三千多人。
楊素又進而攻打無錫叛賊葉略，又剷平叛軍。
吳郡的沈玄憎、沈傑等人派兵包圍了蘇州，刺史皇甫績屢戰不利。
楊素率部援助他。
玄憎情勢窘迫，逃奔南沙賊首陸孟孫。
楊素在松江和孟孫交戰，大破叛軍，活捉了陸孟孫和玄憎。
黝、歙的賊首沈雪、沈能憑借營寨獨自堅持，楊素又將其掃平。
浙江的賊首高智慧自號為東揚州刺史，有上千艘戰船，駐紮在險要的地方，兵力很強。
楊素軍進攻他，戰鬥從早晨一直持續到下午申時，終於苦戰破敵。
高智慧逃到了海上，楊素緊追不捨，隨著余姚漂洋過海來到了永嘉。
高智慧前來拒戰，楊素打跑了他，擒獲了賊兵幾千人。
叛賊之首汪文進自稱天子，佔據東陽，任他的黨徒蔡道人為司空，派他據守樂安。
楊素前往討伐，全部平定了他們，接著又擊敗了永嘉賊首沈孝徹。
然後，楊素從陸路來到天台，揮兵直指臨海郡，追捕那些漏網的叛賊。
這次出征前前後後共經歷了一百多次戰鬥，只剩下高智慧還逃守在閩越之間。
高祖因為楊素長期在外，征旅勞累，下詔命令他駕乘驛車回朝休息。
加封他的兒子楊玄感為上開府，賞賜彩色的絲織品三千段。
楊素因為叛賊還沒有消滅乾淨，怕養成後患，又請求出征。
高祖下詔書表彰了他的功績，又委任以元帥之職，命令他統管前方軍民事務，率領大軍，捕拿那些逃散的叛賊。
於是楊素又乘驛車來到會稽。
這之前，泉州人王國慶，本是南安的豪族，他殺死了刺史劉弘，佔據泉州叛亂，眾多逃亡的叛賊都歸附了他。
他自以為海路險阻，北方人不習慣，就沒有設置海上防禦的隊伍。
楊素卻偏偏從海上掩襲而至，王國慶驚慌失措，棄州而逃，餘黨逃散海島，或者據守山洞。
楊素派人從水陸兩路分頭追捕，並且暗中叫人對王國慶說：「你的罪狀，累計起來處以死刑還不夠。
只有斬送高智慧，才可以抵塞罪責。」王國慶於是把高智慧押來，在泉州將其斬首。
其餘那些被打散的黨羽，也都來投降，江南大為安定。
高祖派遣左領將軍獨孤陀到浚儀迎接犒賞楊素。
等楊素回到京城，來問候他的人每天都有。
高祖拜楊素的兒子玄獎為儀同，賞賜黃金四十斤，外加一個銀瓶，裡面盛滿了金錢，細絹三千段，馬兩百匹，羊兩千口，官田一百頃，住宅一處。
並且任命楊素取代蘇威做了尚書右僕射，和高赹一同執掌朝政。
楊素性情粗疏而口才好，尊卑貴賤都放在心裡，朝廷大臣之中，他非常推舉高赹，敬重牛弘，深交薛道衡，而對蘇威卻不屑一顧。
朝中其餘的權貴大多被他欺凌。
他的才學、本領、氣度、風格比高赹要強；至於用自己的誠心體察國事，處理事情公平適當，有宰相的見識氣度，就比高赹差遠了。
不久，高祖命令楊素監管營造仁壽宮，楊素指揮平山填谷，督促勞役十分嚴急，做工的很多都累死了，宮殿旁邊經常聽到鬼哭聲。
仁壽宮修好後，高祖命令高赹前往察看，高赹報告說宮殿修得過於綺麗，損失民工太多，高祖心裡頗不高興。
楊素憂慮懼怕，卻想不出什麼辦法，只好在北門啟奏獨孤皇后說：「帝王理當有一些行宮、別墅，現在天下太平，我們僅僅修造了這麼一座宮殿，哪裡就談得上浪費了呢！」皇后把這番話轉告高祖，高祖這才消除了心中的不快，於是賜給楊素一百萬錢，三千段錦絹。
開皇十八年(598)，突厥達頭可汗進犯邊塞。
高祖拜楊素為靈州道行軍總管，出塞討伐，並賜給他織物兩千段、黃金一百斤。
這之前，眾將和突厥人作戰，總是擔心胡人的戰馬橫衝直撞，都把戰車和步卒騎兵相互摻雜，與形似鹿角的障礙物一起布成方陣，騎兵在方陣之內。
楊素對別人說：「這只是鞏固防禦的途徑，而不是奪取勝利的方法。」於是全部廢除了原來的作法，命令諸軍布設騎兵方陣。
達頭聽了非常高興，說：「這是天助我！」並且下馬直拜上天，然後率領精兵十多萬攻來。
楊素奮力出擊，大敗敵騎。
達頭受重傷逃走，其餘被殺死殺傷的不計其數，倖存者都哭號著逃跑了。
高祖下詔書大大表揚楊素，賞賜給他細絹兩萬匹，外加一條萬釘寶帶，加封他的兒子玄感為大將軍，玄獎、玄縱、積善一併升為上儀同。
楊素很有隨機應變的謀略，總是把握好時機去同敵人作戰，他應對情況的變化並不拘泥於一定的方法，而控制軍隊嚴厲有序，如果有誰違犯了軍令，他就立即斬首，沒有寬容的。
每次臨戰之前，他總是尋找別人的過失而將其殺掉，多時達一百來人，少的時候也不下十來個，血流滿地，他仍然談笑自如。
等到兩軍對壘，他總是先命令一兩百人前去和敵人交戰，攻破敵陣倒還罷了，如果沒能攻破敵陣而敗回來的，不管有多少人，他都一律處死。
然後再派兩三百人繼續進攻，作法和先前一樣。
將士們兩腿發抖，害怕至極，認為進退大不了都是一死，因而戰無不勝，楊素也因此被人們稱為名將。
楊素當時受到重用寵信，他說的話高祖沒有不聽的。
那些跟隨他出征討伐的人，只要有一點點小小的功勞，就會記載下來，至於跟隨其他將軍的，即使立了大功，也多被文官所排擠掉。
所以楊素雖然嚴厲殘忍，士兵們還是願意跟著他。
開皇二十年(600)，晉王楊廣為靈朔道行軍元帥，楊素為長史。
晉王降低自己的身份交結楊素，後作太子，也是楊素的主意。
仁壽初年，楊素取代高赹做了尚書左僕射。
高祖賞賜給他好馬一百匹、母馬兩百匹、奴婢一百口。
這一年，高祖又拜楊素為行軍元帥，前往雲州攻打突厥，連連破敵。
突厥逃跑，楊素率領騎兵緊追不捨，到夜裡終於趕上。
楊素想再次進攻，又怕敵人分散逃跑，就命令騎兵稍稍跟在後邊。
他於是親自帶領兩名騎兵和兩個投降的突厥人潛入敵陣，同敵人一起前行，敵人沒有發覺。
等到敵人停下來，止宿屯駐的地方還沒安排好，楊素命令後邊的騎兵突然襲擊，大敗他們。
從此，突厥人逃得遠遠的，磧南再沒有他們的蹤跡了。
因為這次的戰功，高祖讓楊素的兒子玄感進位柱國，玄縱為淮南郡公，並賞賜給他織物兩萬段。
文獻皇后去世後，墓葬的規模制度，大多出自楊素之手。
高祖認為很好，下詔書大大表彰他的功勞，封他的一個兒子為義康郡公，食邑一萬戶，世代承襲，並賞賜給他良田三十頃，絹一萬段，米一萬石，金缽一個，裝滿了金子，銀缽一個，盛滿了珠寶，外加綾、錦共五百段。
當時楊素一天比一天顯貴榮耀，他的弟弟楊約、叔父楊文思、楊文紀以及族父楊異，都是尚書，位列公卿。
諸子雖無汗馬之勞，也都官至柱國、刺史。
楊素家童幾千人，後院披羅掛綺的樂妓小妾就以千計。
府第華麗奢侈，規模體制摹仿皇宮。
當時有一個叫鮑亨的人，很會寫文章，還有一個叫殷胄的，精通草書、隸書，都是江南的讀書人，卻因為高智慧的緣故埋沒為楊素的家奴。
楊素的內外親戚和過去屬下的官吏，都位列清靜顯要之職。
楊素的顯貴，近代無人可與他相比。
煬帝剛做太子的時候，非常顧忌蜀王楊秀，就和楊素謀劃陷害他，最後使楊秀被廢黜。
朝臣之中如果有違背冒犯他的，即使其非常忠誠地為國事著想，像賀若弼、史萬歲、李綱、柳..等，楊素也在暗地裡中傷他們。
如果歸附奉迎他或者是他親戚，即使無才可用，他也一定加以推薦提拔。
朝廷內外沒有不怕他、不歸附他的。
只有兵部尚書柳述憑著自己駙馬的身份，多次在高祖面前說楊素的壞話。
大理寺卿梁毗上書高祖，說楊素作威作福。
高祖於是逐漸疏遠和猜忌楊素，後來下來力令說：「僕射是朝廷的輔政大臣，不可親自處理那些細小的事務，只須三五天到官署一次，討論一些國家大事就行了。」表面上顯示對他的尊崇、優待，實際上剝奪了他的權力。
直到仁壽末，楊素不再處理事務。
高祖曾賞賜王公以下的人射箭，楊素名列第一，高祖親將外國進貢來的金精盤，價值萬兩，賜給了楊素。
仁壽四年(604)，楊素跟隨高祖駕臨仁壽宮，高祖又多次賞賜宴席。
等到高祖病重，楊素和兵部尚書柳述、黃門侍郎元巖等人入宮侍候。
當時皇太子楊廣住在宮內的大寶殿，怕高祖有什麼不好的消息須要預先防備，於是親自寫了一封信，封好送出來問楊素。
楊素記下宮外的形勢，來報告太子。
宮人卻將回信誤送到了高祖的住處，高祖見信大怒。
這時，高祖寵愛的陳貴人又說太子對她無禮。
高祖於是大發脾氣，要召見已廢的皇子楊勇。
太子與楊素謀劃對策，楊素假傳聖旨派東宮的士兵入宮守衛，出入都由宇文述、郭衍決定，又命令張衡守候皇上的病情。
高祖就在這天去世了，因此朝廷內外有很多非議。
漢王楊諒謀反，派蠕蠕天保佔領蒲州，燒斷了河橋，又派王耳冉子率領幾萬人與他合力防守。
楊素率領五千輕騎前去偷襲，他先隱蔽在渭口，夜間悄悄渡河，黎明時發動進攻，蠕蠕天保大敗而逃，王耳冉子因害怕而開城投降。
煬帝下詔書召回楊素。
起初，楊素出發之前就計算過幾天可以打敗敵人，結果不出所料。
煬帝又拜楊素為并州道行軍總管、河北安撫大使，率領幾萬人討伐楊諒。
當時晉州、絳州、呂州州城都被楊諒守住，楊素各派兩千人去牽制他們。
楊諒命令趙子開擁十餘萬之眾，佔領了所有的道路，盤踞在高壁，擺開五十里的戰陣。
楊素命令部將帶兵正面對敵，自己則率領一支隊伍潛入霍山，沿著懸崖深谷前進，直搗叛軍老巢，一舉擊敗了他們，殺死殺傷的數以萬計。
楊諒所任命的介州刺史梁修羅駐守在介休，梁修羅聽說楊素來了，非常害怕，棄城而逃。
楊素繼續前進，到達清源，離并州還有三十里。
楊諒率領部將王世宗、趙子開、蕭摩訶等將近十萬人馬，前來迎戰。
楊素又打敗了他們，活捉了蕭摩訶。
楊諒退守并州，楊素進兵包圍了他，楊諒無計可施，非常窘迫，只好投降，其餘黨羽也都一一剷平。
煬帝派遣楊素的弟弟修武公楊約攜帶親筆詔書慰勞楊素，楊素見詔後也上表陳述了自己的謝意。
這個月楊素回到京城，跟隨煬帝駕臨洛陽。
煬帝任楊素為營建東京的大監。
因楊素平定楊諒有功，煬帝拜他的兒子萬石、仁行，侄子玄挺都為儀同三司，並賜給他們織物五萬段、綺羅一千匹，賜楊諒妓妾二十人。
隋煬帝大業元年(605)，又升楊素為尚書令，賞賜給他東京上等府第一處，織物兩千段，不久又拜為太子太師，其他職務不變。
前後賞賜給他的東西不知有多少。
第二年，煬帝拜楊素為司徒，又改封他為楚公，食邑兩千五百戶。
這一年，楊素死在任上。
謚號叫「景武」，追封他為光祿大夫、太尉公、弘農河東絳郡臨汾文城河內汲郡長平上黨西河十郡太守，賜給他載喪的鍂車、為他執斑劍的儀仗四十人，以及鍂車前後的儀仗隊和樂隊，還賜給谷子小麥五千石、織物五千段，派鴻臚卿專門監督辦理喪事，並且下詔書表示哀悼。
楊素曾經作了一首共七百字的五言詩送給番州刺史薛道衡，氣勢非常宏大，風韻出眾，堪稱一時的上乘之作。
寫後沒幾天，楊素就死了。
薛道衡歎息說：「人快要死的時候，他的話語也變得很友善了，難道就是像這樣的嗎？」楊素留有文集十卷。
楊素雖然有輔佐高祖建國立業的謀略，並且有平定楊諒的功績，然而卻深為煬帝所忌。
煬帝表面顯出對他特殊的禮遇，實際上恩情卻很淡薄。
太史官說隋地所屬的分野將有重大的喪事發生，煬帝因而改封楊素為楚公，因為楚地和隋地屬同一分野，煬帝想借楊素來攔擋遭喪的運氣。
楊素臥病在床的時候，煬帝常派一些有名的醫生前去診治侍候，並且賜他許多上好的藥品，然而卻總在暗地裡問醫生，總怕他不死去。
楊素知道自己的名望和地位已到了極限，不肯吃藥，也不想謹小慎微地活下去了，經常對弟弟楊約說：「我難道還要活下去嗎？」楊素依仗自己富足的錢財，廣求家產，東西二京他的居宅奢侈華麗，早晨拆毀晚上重建，營造修繕從不停止，在各方的大城市，他的旅店、水磨和肥沃的田地、華麗的房子都以千百來計算。
當時人們議論紛紛，並且因此而瞧不起他。
楊素死後，他的兒子玄感繼承了他的爵位，玄感另外有傳。
其餘幾個兒子後來因受玄感的牽連都被殺死。
史臣說：楊素年輕的時候輕生而俠義，灑脫而不受羈絆，兼有文才武略，志向遠大，常以立功揚名自期。
高祖初舉大事，將要掃清宇內、奪取天下的時候，常把一些關係重大的機密要事托付給他，總是讓他承擔起協助、輔佐的重任。
他在宇內掃盡妖孽的氣焰，使四海之內風平浪靜，沒有一點波瀾；在邊疆摧毀敵人矯健的騎兵，迫使匈奴遠逃。
推究他剷平兇惡殘暴的敵人平定叛亂，有功之臣沒有誰能比得過他；看他那些神奇的計策和高妙的文章，堪稱一代英豪。
然而他一味地憑借自己的聰明和欺詐自立於世，不走仁義的正道，阿諛奉迎皇上，使皇上的行為有些偏離；修築建造離宮鋪張浪費，使皇上陷於奢侈的名聲；策劃廢除皇上的嫡親長子，使國家到了快要傾覆的危險境地。
最終使國家破滅，皇家的祖廟變為一片廢墟，在市井裡每天受到風霜雨露的侵蝕。
探求這禍害衰敗的源頭，實在是楊素的罪過啊！幸好他死了，而他的兒子又犯上作亂。
他墳上的新土還沒有被風吹乾，就遭致滿門抄斬，墳墓也被挖開，全族的人都被誅死。
這才知道壞事做多了會留下禍害，這話並非瞎說。
不守禮法的事做多了就會殃及自身，指的就是這一類的事啊！