公元17年，整個中原大地一片混亂，天災人禍使得百姓流離失所，無以為生，官員和政府也想不出辦法來挽救局面。百姓被逼得走投無路，最終選擇了起義。
在南方的荊州（包括今河南南部、湖北中部、湖南西部），因為糧食顆粒無收，百姓們不得已去沼澤和水塘周圍挖掘野菜。野菜的數量不多，饑民卻不少，為了能搶到一點吃的，大家爭先恐後在田地裡挖野菜，難免會引發爭搶，需要有人能站出來維持秩序。新市（今湖北京山東北）有兩個叫王匡和王鳳的人，他們自願擔任協調組織的工作，因為公平公正，大家久而久之都聽從他們，儼然成為百姓心目中的領導人物。
眼看出現了越來越多的難民，王匡和王鳳乾脆把這些人全部聚集起來，打算發動起義。難民們對朝廷已經不抱任何希望，也許起義能帶給他們一個新生活，因此沒有人表示反對，而且還有更多的人在聽到王匡和王鳳起義的消息後，從遠處趕來投奔他們。王匡和王鳳選定綠林山（今湖北大洪山）作為根據地，因此起義軍也被稱為綠林軍。他們佔領了周圍的村落，並不斷接納逃難來此的農民，短短幾個月時間裡，綠林軍的人數已經增長到八千多人，勢力範圍也越來越大。
朝廷聽到綠林軍起義的消息後，王莽立刻派了兩萬名官兵去鎮壓，沒想到被綠林軍打得落荒而逃。王莽氣得直跳腳，綠林軍則趁這次獲勝的時機，又佔領了好幾座城鎮，還把關押在監獄裡的囚犯都放了出來，把糧倉裡的糧食拿一部分出來分給老百姓，
剩下的全部搬上了綠林山。王匡和王鳳的善行得到了百姓的一致擁護，更多的人投奔綠林，起義軍的人數已經達到了五萬多。可是好景不長，綠林軍剛有了一些成果，一場瘟疫突然降臨，起義軍差不多死了一半數量的人，剩下的人為了保存實力，只好分成三路人馬離開綠林山，各自佔領了新市、平林（今湖北隨州東北）和下江（長江在湖北西部以下地區）。
在泰山，有一個叫樊崇的人也發動了起義，他先是領著幾百人把泰山占為根據地，然後對外召集人馬。有一支小規模的起義軍投靠了樊崇，還沒到一年時間，手下就有一萬多人，佔領了泰山郡（今山東泰安）。樊崇帶著起義軍在青州（今山東中部）和徐州（今江蘇北部）之間和官府軍隊抗擊，不時搶奪地主豪強的糧食，分給窮困的百姓。
樊崇規定起義軍不能欺負窮人，如果有誰殘殺或者傷害百姓的話，就處以死刑或者受到嚴厲的懲罰。和綠林軍一樣，老百姓對樊崇的軍隊也很擁護。
全國轟轟烈烈的起義運動令王莽十分焦急，他派出大批部隊去鎮壓那些起義軍，結果官軍被起義軍消滅得乾乾淨淨，帶軍將領也被殺死了。王莽接著任命太師王匡（不是綠林軍的首領王匡）帶領軍隊先去鎮壓樊崇的部隊，然後再打壓綠林軍。
公元22年，太師王匡率領大隊人馬來到泰山郡，把樊崇的部隊包圍起來。樊崇先鼓勵大家奮勇作戰，然後要求每個人把自己的眉毛畫成紅色，這樣一來就能和官府軍隊區分開來，以免傷到自己人。從這以後，樊崇的軍隊也被人們稱為“赤眉軍”。
赤眉軍和朝廷的軍隊廝殺激烈，最後太師王匡落敗而逃，腿上還被樊崇的長槍戳出一個血洞，士兵也死傷大半，都逃回了長安。赤眉軍經過這一仗之後更加勇猛，不但勢力範圍進一步擴大，軍隊人數也猛增到十多萬。
綠林軍和赤眉軍打退王莽軍隊的消息很快傳遍了全國，很多人受到他們的鼓舞，也紛紛發動起義。一時之間，黃河沿岸地區的起義軍多達好幾十支，一些在王莽改制後被削減利益的地主和沒落貴族也舉旗發動起義，企圖推翻王莽的統治。
在南陽郡舂陵（今湖南寧遠北）鄉有兄弟二人，分別叫劉縯和劉秀，王莽登基後廢除了劉氏宗族的貴族身份，不允許他們再做官封侯。雖然劉氏家族很氣憤，無奈王莽把持朝政，反抗不了。現在全國都在反對王莽，劉氏當然不甘示弱，劉縯和劉秀早就集結了幾千家鄉百姓和族人，在舂陵鄉發動起義。劉縯和劉秀找到綠林軍首領，和他們聯合起來對抗王莽的軍隊，並且在交戰過程中殺死了好幾個朝廷將軍。
綠林軍的勢力越來越大，為了更好地管理軍隊，有人提出推舉一個首領，因為群龍無首辦不成大事，有了首領，起義軍行動也有了規劃，於是大家開始討論該由誰來擔任首領的事情。一些有身份的人要求首領必須從劉氏家族中選出，這樣才能樹立威信，當時的思想是很傳統的，出身高的人大多會得到眾人的擁護，於是起義軍開始尋找合適的劉家子孫來擔任首領。
然而起義軍裡有不少劉姓子孫，大家一時不知該推舉誰。劉縯帶領的士兵向推舉劉縯，但是其他起義軍害怕劉縯強大之後會對他們不利，堅決不同意劉縯當首領，他們找來一個叫劉玄的沒落世家子弟，聲稱要立他為皇帝。劉縯急了，想到了緩兵之計，便要求等到推翻王莽政權、合併赤眉軍之後再立皇帝，同樣也被大部分起義軍拒絕。最後，勢力佔下風的劉縯只好同意了大部分人的提議，擁護劉玄為皇帝。
公元23年，劉玄正式成為綠林軍的首領，並恢復了漢朝國號，年號“更始”，劉玄也因此被稱為更始帝。王匡、王鳳被封為上公，劉縯被封為大司徒，劉秀被封為太常偏將軍，其他還有幾個有功績的將領們也一一被封了官位。從這以後，老百姓就把綠林軍稱為漢軍。