瓦崗軍首領翟讓，本來是東郡的一個小吏，因為得罪了上司，被打進牢監，還被判了死罪。有個獄吏同情他，跟他說：「我看你是條好漢，怎麼能在牢裡等死呢。」一天夜裡，獄吏偷偷地砸了鐐銬，打開牢門，把翟讓放了。
翟讓逃出了牢監，逃到東郡附近的瓦崗寨，招集了一些貧苦農民，組織了一支起義隊伍。當地一些青年人，聽到這個消息，都來投奔他。其中有一個青年叫徐世勣（音ｊī），年紀才十七歲，不但武藝高強，而且很有計謀。
徐世勣勸翟讓說：「這裡附近都是貧苦的老鄉，我們不應該去打擾他們；我看滎陽一帶，來往的豪門富商很多，不如到那裡去籌辦點錢糧。」
翟讓聽從徐世勣的意見，帶領農民軍到滎陽一帶，專門打擊官府富商，奪取大批資財。附近農民來投奔翟讓的越來越多，很快就發展到一萬多人。
李密投奔翟讓以後，幫助翟讓整頓人馬。那時候，附近各地還有一些小股的農民隊伍。李密到各處去聯絡，說服他們聯合起來，聽從翟讓指揮。翟讓十分高興，跟李密漸漸親近起來。
翟讓雖然有了很多人馬，但是他並沒想到自己能推翻隋煬帝。李密對翟讓說：「從前劉邦、項羽，本來也是普通老百姓，後來終於推翻秦朝。現在皇上昏庸暴虐，百姓怨聲載道，官軍大部分又遠在遼東。您手下兵強馬壯，要拿下東都和長安，打倒暴君，還不是輕而易舉的事！」
翟讓聽了很高興，說：「您的意見太好了，我倒沒想到這一點呢。」
接著，兩人商量了一番，決定先攻打滎陽。滎陽太守向隋煬帝告急。隋煬帝派大將張須陀帶大軍鎮壓。
張須陀是鎮壓農民軍的老手。翟讓曾經在他手裡打過敗仗，這次聽說又是張須陀來了，有點害怕。李密說：「張須陀有勇無謀，再加上他自以為強大，驕傲輕敵。我們利用他的弱點，保管能打敗他。」
李密請翟讓擺開陣勢，正面迎擊敵人；他自己帶了一千人馬在滎陽大海寺北面的密林裡設下埋伏。
張須陀欺翟讓不是他的對手，莽莽撞撞地指揮人馬掩殺過來。翟讓抵擋了一陣，假裝敗退。張須陀緊緊追趕，追了十多里，路越來越窄，樹林越來越密，正是李密佈置的埋伏圈。李密一聲令下，埋伏的瓦崗軍將士一齊殺出，把張須陀的人馬團團圍住。張須陀雖然勇猛，但是被伏兵層層包圍，左衝右突，沒法脫圍，終於全軍覆沒。張須陀也被起義軍打死了。
經過這一場戰鬥，李密在瓦崗軍裡提高了威信。李密不但號令嚴明，而且生活樸素，凡是從敵人那裡繳獲來的錢財，他都分給起義將士。日子一久，將士們就漸漸向著他了。第二年（公元617年）春天，李密勸說翟讓，趁隋煬帝在江都巡遊，東都空虛的機會，進攻東都。瓦崗軍派人到東都刺探軍情，被隋朝官員發覺，加強了東都的防禦。李密就改變計劃，提議先打東都附近的興洛倉（在今河南鞏縣）。
興洛倉也叫做洛口倉，是隋王朝建造的最大的一個糧倉。倉城周圍二十多里，城裡挖了三千個大窖，每個窖裡貯藏著八千石糧食。這都是隋王朝多年來從各地農民身上搜刮來的血汗。
翟讓、李密兩人帶七千名精兵攻打興洛倉。這些兵士原是流離失所的農民，一聽得攻打官府的糧倉，個個摩拳擦掌，勇氣百倍。他們向興洛倉發起猛攻。駐守在興洛倉的隋軍還想頑抗，但是怎麼也抵擋不住像插翅猛虎一般的瓦崗軍。興洛倉被攻破了。
瓦崗軍攻破興洛倉以後，立刻發佈命令，開倉分糧。兵士們打開一口口糧窖，讓老百姓盡情地拿。受饑挨餓的農民從四面八方擁向糧倉，從頭髮花白的老人，到背著孩子的婦女，一個個眼裡帶著激動的淚花，前來領糧。大伙對瓦崗軍的感激心情，就不用提了。
接著，瓦崗軍又打敗了東都派來的隋軍救兵。到這時候，瓦崗軍的指揮權漸漸集中在李密手裡。翟讓覺得自己的才能不如李密，就把首領的地位讓給李密。大家推李密為魏公，兼任行軍元帥。
瓦崗軍在洛口建立了自己的政權後，乘勝攻下許多郡縣，隋朝官吏兵士紛紛投降。瓦崗軍一面繼續圍攻東都，一面發出討伐隋煬帝的檄文，聲討煬帝的罪惡，號召百姓起來推翻隋王朝的統治。這一來，把整個中原都震動了。
正當瓦崗軍勝利發展的時候，內部發生了嚴重分裂。翟讓把首領位子讓給李密後，翟讓手下有些將領很不願意。有人勸翟讓把權奪回來，翟讓卻總是笑呵呵的不當一回事。但是這些話傳到李密耳朵裡，李密就很不高興。李密的部下攛掇他除掉翟讓。李密為了保自己的地位，竟起了狠心。
有一天，李密請翟讓喝酒。在宴會中間，把翟讓的兵士都支開了，李密假意拿出一把好弓給翟讓，請他試射。翟讓轉過身子，剛拉開弓。李密佈置好的刀斧手就動起手來，把翟讓砍倒了。
打那時候起，瓦崗軍開始走了下坡路。但是，北方由李淵帶領的一支反隋軍卻正在強大起來。