李淵佔領長安的同時，各地起義軍也不斷發展壯大。除了瓦崗軍之外，主要的還有竇建德領導的河北起義軍和杜伏威領導的江淮起義軍，不斷在各地打擊隋軍。殘暴荒淫的隋煬帝自己知道末日來到，索性躲到江都，每天和皇后、妃子喝酒作樂，醉得昏昏沉沉。
他不願聽到失敗的消息，但是心裡到底發慌，對蕭皇后說：「聽說外面有不少人想算計我，且別管他，還是快快活活喝酒吧。」
有一次，他拿起一面鏡子，呆呆地照了半晌，說：「好頭顱，不知道誰來砍它呢！」
隋煬帝擔心的日子終於到來了。他身邊的一批禁衛軍兵士，多數是關中地區的人。他們眼看跟著隋煬帝沒有生路，都想開小差回家。將軍宇文化及利用兵士想回家的心理，發動兵變。宇文化及帶領兵士，攻進行宮，派人把隋煬帝監視起來。
隋煬帝對監視的官員說：「我犯的什麼罪？」
官員說：「你發動戰爭，窮奢極侈；相信奸邪，拒絕忠告；使男子死在戰場，婦女兒童走上絕路，百姓流離失所，你還說沒罪嗎？」
隋煬帝說：「我確實對不起百姓，但是你們這些人也跟著我享受富貴，沒對不起你們。今天這樣做，是誰帶的頭？」
官員說：「全國的人都恨透你這昏君，哪兒是一個人帶的頭！」
隋煬帝這才無話可說，他自己解下巾帶交給官員。這個作惡多端的統治者就這樣被勒死了。統治中國三十八年的隋王朝宣告滅亡。
隋煬帝死後，東都洛陽還在隋朝的東都留守楊侗（煬帝的孫子）和大臣王世充手裡。王世充把楊侗立為皇帝，繼續打著隋朝的旗號，對抗起義軍。
東都周圍本來是瓦崗起義軍活動的地區，李密曾經多次打敗隋軍，但是因為李密驕傲自滿，跟將領們互相猜忌，在跟北上的宇文化及人馬打了一仗之後，力量漸漸削弱。王世充看準李密的弱點，發起一次襲擊，打垮了李密大軍。李密帶著殘兵敗將，逃到長安投靠唐朝。
王世充趕跑了李密，自以為力量強大，把楊侗廢了，自立為帝，國號叫鄭。
這時候，唐軍已經削平了西北的幾個豪強割據勢力，穩定了後方。公元620年，唐高祖派李世民統率大軍進攻東都。李世民大軍一出關，河南許多州縣紛紛投降，很快就把東都包圍起來。
李世民不但善於打仗，而且善於用人。他從原瓦崗軍和別的割據勢力的降將中，收留了一批人。像有名的秦叔寶、程咬金、尉遲敬德（尉遲是姓，尉音ｙu，都成了他的得力助手。有一次，李世民親自帶了五百騎兵在陣地上巡視，被王世充發現，發動一萬多步兵騎兵突然圍上來，王世充的大將單雄信衝到李世民身邊，用長矛直刺過來。李世民後面的尉遲敬德飛馬趕上，大喝一聲，把單雄信刺下馬來。尉遲敬德保護李世民突出包圍，兩個人又帶著騎兵轉過身在鄭軍陣地來回衝殺，嚇得鄭兵不敢阻擋。接著，後面的唐軍源源不絕地上來，把鄭軍打得一敗塗地。
從這年秋天一直到第二年春天，唐軍把東都越圍越緊，日夜不停地攻城。王世充在城裡嚴密防守，不斷用石炮、弩箭襲擊城外唐軍。日子一久，唐軍將士也感到疲勞，有人向李世民建議暫時停止進攻，回長安休整後再打。
李世民說：「現在四周各州都已經投降，洛陽成了一座孤城，遲早可以攻下，怎麼能半途停下來。」接著就向將士發出命令說：「不攻下東都，決不退兵。」
王世充被逼得走投無路，只好派人偷偷地出城，趕到河北向竇建德求救。
竇建德領導的起義軍是河北一支強大的力量。王世充自稱鄭帝以後，竇建德也自稱皇帝，國號叫夏，攻佔了唐軍許多土地。他接到王世充的求救信，一面帶領三十萬人馬，水陸並進，援救東都；一面派出使者給李世民送去一封信，要李世民退回關中。
唐軍許多將軍都被夏軍的強大兵力嚇得害怕了，主張暫時離開東都。但是有人認為王世充兵力還很強，缺少的是糧食。如果讓竇建德跟王世充兩軍會合，用河北的糧食接濟東都，那末勝利就沒有希望了。
所以，一定要把南下的竇建德大軍堵住。
李世民接受了這個意見，把李元吉留在東都繼續圍攻王世充，自己帶三千多精兵北上，扼守武牢關（就是虎牢關。在今河南滎陽汜水鎮）。
竇建德大軍到了武牢關，被唐兵攔住，夏軍發起幾次進攻都沒成功，李世民卻派輕騎兵抄小路，把夏軍的糧道切斷了。
竇建德認為自己兵力強大，不怕攻不下武牢關。他拒絕了他部下和妻子的勸阻，命令全軍出動，擺開陣勢，鼓噪著衝了過來。
李世民上高地觀察了夏軍的陣勢，說：「竇建德沒有遇到過強大的敵手，從他的陣勢，就可以看出他驕傲輕敵。我們只要按兵不動，等待他們兵士疲勞的時候，一舉出擊，一定能打敗他們。」
夏軍兵士擺開陣勢，準備交鋒。但是，從早上到中午，還沒有見唐軍出來交戰，兵士們又疲勞，又飢餓，有的坐在地上，有的到河灘上舀水喝。李世民一見時機已到，就命令將士渡過汜水，直衝竇建德大營。
竇建德正和他的將帥在大營聚會，聽到唐軍騎兵突然衝來，趕忙指揮騎兵應戰。雙方發生了激戰，陣地上塵土飛揚，箭如雨落。
李世民乘夏軍不防備，帶領一支隊伍猛插到夏軍陣後，舉起了唐軍的大旗。夏軍將士回頭一看，以為唐軍已經佔領大營，沒有心思再戰，爭先恐後地逃散。竇建德在混戰中受了傷，被唐軍俘虜了。
竇建德失敗後，李世民再回兵圍攻東都。王世充還想突圍，將士們說：「現在夏王已經失敗，我們就是突圍出去，也沒有用。」王世充眼看大勢已去，只好向唐軍投降。
竇建德被送到長安，不久就被殺害，他的部將劉黑闥（音ｔa）率領河北夏軍，繼續和唐軍作戰。唐軍又花了三年時間，才把河北地區穩定下來。公元623年，唐統一中國的戰爭基本結束。但是，唐朝皇室內部的矛盾卻尖銳起來。