李淵本來是隋王朝的貴族，靠繼承祖上的爵位，當上了唐國公。公元617年，隋煬帝派他到太原去當留守（官名），鎮壓農民起義，開始他也打過幾個勝仗，後來看到起義軍越打越強，越打越多，他也感到緊張起來了。
李淵有四個兒子。第二個兒子李世民那時候剛十八歲，是個很有膽識的青年，平時喜歡結交有才能的人。人們也覺得他慷慨好客，喜歡跟他打交道。他看準隋朝的統治長不了，心裡早有了自己的打算。
晉陽（今山西太原）縣令劉文靜，十分看重李世民。李世民也把他看作知心朋友。劉文靜跟李密有親戚關係。李密參加起義軍以後，隋煬帝下令捉拿李密親友。劉文靜受到株連，被革了職，關在晉陽的牢監裡。
李世民聽到劉文靜坐了牢，十分著急，趕到牢監裡去探望。
李世民拉著劉文靜的手說：「劉大哥，我來探望，不但是為了敘敘友情，主要是想請您幫我出個主意。」
劉文靜早就知道李世民的心思。他說：「現在皇上遠在江都，李密逼近東都，到處都有人造反。這倒是打天下的好時機哩。我可以幫您收集十萬人馬，您父親手下還有幾萬人。如果用這支力量起兵，打進長安，號令天下，不出半年，可以取得天下。」
李世民高興地說：「您真說到我心裡去了。」
李世民回到家裡，想想劉文靜的話，越想越覺得有道理。但是要說服他父親，倒是個難題。正好在這個時候，太原北面的突厥（我國古代北方民族之一）可汗進攻馬邑。李淵派兵抵抗，連接打敗仗。李淵怕這件事給隋煬帝知道了，要追究他的責任，急得不知道該怎麼辦。
李世民抓住這個機會，就找李淵勸他起兵反隋。李淵一聽，嚇得要命，說：「你怎麼說出這種沒上沒下的話來。要是我去報官，準會把你抓起來。」
李世民並不害怕，說：「父親要告就去告吧，兒才不怕死呢。」
李淵當然不會真的去告發，只是叮囑他以後別說這樣的話。
第二天，李世民又找李淵說：「父親受皇上的委派，到這裡討伐反叛的人。可是眼看造反的人越來越多，您能討伐得了？再說，皇上猜忌心很重，就算您立了功，您的處境更加危險。只有照我昨天說的辦，才是唯一的出路。」
李淵猶豫了許多時候，才長歎一口氣說：「昨天夜裡，我想想你說的話，也有道理。我也拿不定主意。從現在起，是家破人亡，還是能化家為國，就憑你啦！」
李淵把劉文靜從晉陽牢監裡放了出來。劉文靜幫助李世民，分頭招兵買馬。李淵又派人把正在河東打仗的另兩個兒子李建成和李元吉召了回來。
太原的兩個副留守看到李淵父子的舉動反常，想出來阻撓。李淵借口他們勾結突厥，把他們抓起來殺了。
李淵又聽從劉文靜的計策，派人備了一份厚禮，到突厥可汗那裡講和，約他一起反隋。突厥可汗覺得這樣做對他們有好處，就答應幫助李淵。
李淵穩住突厥這一頭，就正式起兵反隋。李淵自稱大將軍，派李建成和李世民分別做左右領軍大都督、劉文靜做司馬，又把兵士都稱為「義士」。他們帶領三萬人馬離開晉陽，向長安進軍。一路上繼續招募人馬，並且學農民起義軍的做法，打開官倉發糧給貧民。這樣一來，應募的百姓就越來越多了。
唐軍到了霍邑（今山西霍縣），遭到隋朝將軍宋老生的攔擊。霍邑一帶道路狹隘，又正趕上接連幾天大雨，唐軍的軍糧運輸中斷了。兵士中還紛紛傳說突厥兵正準備偷襲晉陽。李淵動搖起來，想撤兵回晉陽去。
李世民對李淵說：「現在正是秋收季節，田野裡有的是糧食，哪怕缺糧！宋老生也沒有什麼可怕。我們用義兵的名義號召天下，如果還沒打仗就後撤，豈不叫人失望。回到晉陽，是斷斷沒有生路的。」
李建成也支持他弟弟的主張。李淵這才改變了主意，取消了撤兵的打算。
八月的一天，久雨剛剛放晴。唐軍一早沿著山邊小路，急行軍來到霍邑城邊。李淵先派建成率領幾十個騎兵在城下挑戰。宋老生一看唐軍人少，親自帶了三萬人馬出城。李世民帶兵居高臨下從南面山頭衝殺下來，把宋老生的人馬沖得七零八落。宋老生急忙回頭想逃回城去。李淵的兵士已經佔了城池，把城門關得緊騰騰的。宋老生走投無路，被唐軍殺了。
唐軍攻下霍邑以後，繼續向西進軍，在關中的農民軍的配合下，渡過黃河。留在長安的李淵的女兒也招募了一萬多人馬，號稱「娘子軍」，響應唐軍進關。
李淵集中了二十多萬大軍攻打長安。守在長安的隋軍，要想抵抗也沒用了。李淵攻下長安以後，為了爭取民心，宣佈約法十二條，把隋王朝的苛刻法令一概廢除，並且暫時讓隋煬帝的孫子楊侑（音ｙoｕ）做個掛名的皇帝。
第二年（公元618年）夏天，從江都傳來了隋煬帝被殺的消息，李淵才把楊侑廢了，自己即位稱帝，改國號為唐。這就是唐高祖。