李淵，字叔德，隴西成紀（今甘肅秦安葉堡鄉）人。他的父親在北周時期做過高官，母親是隋文帝獨孤皇后的姐姐。隋煬帝登基後，李淵在樓煩（今山西靜樂）和滎陽（今河南鄭州）兩個郡做太守。
公元613年，隋煬帝派大軍攻打遼東。李淵被派到懷遠鎮，負責督運運草。楊玄感趁著此時民怨沸騰，發動了起義。隋煬帝命令李淵鎮守弘化郡（今甘肅慶陽），防禦楊玄感向那裡進攻。楊玄感兵敗之後，李淵仍然留在弘化當太守。在此期間，李淵做出很多對有益於百姓的事情，也結交了很多英雄豪傑。
公元617年，李淵又被封為太原留守，負責鎮壓農民起義軍。太原是軍事重地，那裡兵源充足，儲存著可以使用十年的軍糧。因此，李淵特別高興，打算在太原發展自己的勢力。初到太原，李淵就領兵擊敗了位於太原南部的農民起義軍，使得自己在太原的地位得以鞏固。之後，李淵又派長子李建成在河東結交英雄豪傑，派次子李世民在晉陽一帶招攬人才。
當時李淵所鎮守的太原，多次遭到北方少數民族突厥的騷擾。李淵出兵抵抗，卻連續幾次被打敗。如果這件事被朝廷知道，那麼李淵的處境將非常危險。
國家的安危，自身的處境，使得李淵心煩意亂。李淵的次子李世民是一個非常有膽識的人。他看到父親整天愁眉不展，便對父親說：“隋煬帝荒婬無道，惹得天怒人怨，如今全國各地都爆發了農民起義，想要推翻他的殘暴統治。父親雖然是隋朝的大臣，但是皇帝昏庸無道，父親又何必非要為他賣命呢？依我之見，不如起兵反隋，與天下英雄一起推翻隋朝。”
李世民的話把李淵嚇得顫抖不已。李淵說：“你怎能說出這種話來？你這叫犯上作亂、大逆不道。如果這些話被別人聽到，你的性命就難保了。以後再也不許說這種話了，知道嗎？”
李世民看到父親的態度非常堅硬，便只能離開了。可是，他並沒有因此而放棄勸說父親起兵反隋。第二天，他又對李淵說：“您被皇上封為太原留守，負責鎮守太原。可是，現在突厥不斷地來騷擾，農民起義軍又人多勢眾，您根本就無法保證太原的安全。如果朝廷追究下來，您的處境就會非常危險。而且，就算您保證了太原的安全，立下大功，但是皇上的猜忌心非常重，您的處境可能會更加危險。所以說，如果您仍然保持現狀的話，那麼危險就時刻伴隨著您。要想徹底擺脫這種危險，我覺得您只有起兵反隋一條路可走。”
李淵覺得李世民的話很有道理，但他又無法下定起兵反隋的決心。他擔心一旦失敗，必定會被滿門抄斬。
李世民又說：“現在各地都鬧起義，官軍的力量分散，很容易對付。”李世民的話徹底打消了李淵的疑慮。他終於決定要起兵反隋，李世民又把他的朋友劉文靜推薦給李淵。
此後，李淵派劉文靜去招兵買馬，又把在河東打仗的長子李建成、四兒子李元吉召回。
王威和高君雅是太守的副留守，他們對隋煬帝忠心耿耿，看到李淵的行動後，便開始懷疑李淵密謀造反。李淵知道這兩個人不能久留，因為他們一定會把自己造反的事情報告給隋煬帝。於是，他便下定決心，一定要除掉王、高二人。
一天早上，李淵和王威、高君雅一起商議公事。劉文靜把開陽府司馬劉會政領到他們面前。劉會政說，他有一張密狀要交給李淵。李淵讓他將密狀呈上。劉會政說副留守是他要告的人，因此不能夠讓兩個副留守看，只給李淵一個人看。李淵故意裝出一副驚愕的樣子，說：“怎麼會有這樣的事情？”之後，他接過密狀，看了起來。看過之後，他對其他人說：“王威和高君雅是叛徒，他們打算與突厥人裡應外合，攻入太原城中。”於是，李淵命令士兵將他們抓了起來。第二天的時候，太原被幾萬突厥人圍攻，人們便對王、高二人勾結突厥一事深信不疑，李淵就名正言順地殺死了他們。
除掉內患之後，如何對付突厥兵就成為了擺在李淵面前的難題。他命令劉文靜等人在城牆堅守，而城牆上卻不樹立旗幟，而且城門也打開著，禁止士兵大聲喧嘩、四處張望。突厥軍隊不明所以，不敢貿然闖入城中。李淵又派手下將領帶著一隊人馬夜裡出城，早晨從另外一條路入城，製造出有援兵到達的假象，來蒙蔽突厥。這個計策效果顯著，突厥軍隊真的以為那是援軍，所以就退兵了。雖然解了突厥之圍，但是誰也無法保證突厥不會再來。為了徹底解決問題，解決起兵反隋的後顧之憂，李淵用臣下的口氣，給突厥可汗寫了一封信。他在信中說：“如果能夠不來侵擾太原的百姓，我願意把征伐來的財富，全部送給可汗。”
此後，李淵正式起兵，向長安進軍。西河郡是西進的第一個障礙。李世民和李建成率領大軍，僅用九天就攻下了西河郡。之後，李淵設置了大將軍府，自稱為大將軍，封李建成為隴西公、左領軍大都督，封李世民為敦煌公、右領軍大都督，又封劉文靜和裴濟為長史司馬。
李淵大軍一路勢如破竹，很快就攻入長安城中。佔領長安城後，李淵宣佈了十二條約法，受到城中百姓的熱烈歡迎。李淵看到稱帝的時機尚未成熟，就擁立隋煬帝的孫子楊侑為帝，改元義寧，並把處於江都的隋煬帝尊為太上皇。李淵自封為大丞相、唐王，掌握著所有軍政大權。
公元618年夏，躲在江都享樂的隋煬帝被大將宇文化及和禁軍將士們包圍起來。隋煬帝非常生氣地問道：“你們實在膽大包天，難道不知道這是死罪嗎？是誰讓你們這樣做的。”
禁軍將士們回答說：“你這個暴君，天下人皆對你恨之入骨，希望把你千刀萬剮，我們要殺你，還需要別人帶頭嗎？”宇文化及命人將隋煬帝勒死，立楊浩為帝，自封為大丞相。李淵聽說這件事後非常高興，因為隋煬帝一死，他就可以名正言順地做皇帝了。
公元618年，李淵稱帝，定國號為唐，定都長安。李淵就是唐高祖。