宋高祖武皇帝名叫裕，字德輿，小字寄奴，彭城縣綏輿裡人，姓劉氏，是漢代楚元王劉交的第二十一代孫子。彭城是楚國的都城，所以後代子孫便以這裡為家了。晉朝東遷，劉氏移居到晉陵丹徒的京口裡。他的先祖劉靖，是晉朝的東安太守。他的父親劉翹，字顯宗，是郡上的功曹。武帝是晉哀帝興寧元年(363)三月十七日的夜裡降生，當時神光照得房子裡一片光明，這天夜裡有甘露降落在墓地的樹上。他長大後，為人雄傑，氣度宏大，身高七尺六寸，風神奇偉，不拘生活小節，侍奉繼母以孝順聞名。
他曾遊覽京口的竹林寺，獨自躺在講堂的前面，上面有一條五色龍顯現出來，眾僧人見了，驚慌地告訴了武帝，武帝獨自高興地說：「請上人不要亂講。」他父親的墓在丹徒的候山，那裡就是秦史上所說的曲阿、丹徒之間有天子氣的地方。當時有個叫孔恭的人，很善於占墓，武帝曾經和他一塊經過墓地，欺騙他說：「這片墳墓怎麼樣？」孔恭說：「不是一般的地方喲！」武帝從此更加自負。行動時常常見到有兩條小龍附在兩翼，到山上砍柴或到水邊打魚，同伴們有的也曾經看見。地位尊貴以後，龍形更大。
武帝一向貧窮，當時的人都不能識別他的才幹，只有琅笽人王謐獨自對他深深敬重。武帝曾經欠刁逵的社錢三萬，好長時間無法償還，被刁逵抓起來，王謐暗中用自己的錢代他還上，由此得到釋放。後來在新洲割荻草，看到了一條大蛇有幾丈長，就用箭射它，蛇受了傷。第二天又到了新洲，聽到裡面有杵臼的聲音，進去一看，見有好幾個童子都穿著青色的衣服，在草叢中搗藥。問他們是怎麼回事，回答說：「我們的大王被劉寄奴射傷了，配些藥給他敷上。」武帝說：「神王怎麼不把劉寄奴殺死？」回答說：「劉寄奴是個王，不會死的，所以不能殺他。」武帝呵叱他們，都跑散了，便收起藥來回去了。又曾經住宿在下邳的旅舍，碰到一個小和尚對武帝說：「江東將要大亂，能使這裡安定下來的，恐怕就是您了吧！」武帝的手曾經被割傷，多年不愈，和尚有一種黃散，便留給了武帝，隨後忽然不見了，武帝用黃散敷在手上，那傷口只敷一次就好了。保留剩餘的黃散以及所得的童子的藥，每當遇到刀傷，敷上都很靈驗。
起初他擔任冠軍孫無終的司馬。晉朝隆安三年(399)十一月，妖賊孫恩在會稽作亂，朝廷派衛將軍謝琰、前將軍劉牢之去東方討伐。劉牢之請武帝參謀府中軍事，命令他與幾十個人一道監視賊軍，遇到了賊兵幾千人，武帝便和他們打起來，所率領的人大多戰死，而武帝揮舞著長刀，殺傷了很多賊兵。劉牢之的兒子劉敬宣懷疑武帝被賊兵圍困，就帶了一些輕騎去尋找他；不久，眾多騎兵一齊來到，於是平定了山陰，孫恩逃到了海上。
隆安四年(340)五月，孫恩又進入了會稽，殺了謝琰。十一月，劉牢之再次東征，讓武帝守衛句章，句章城小人少，武帝每次戰鬥都攻陷敵方陣地，賊軍便退回浹口。當時東伐的各個將官，手下士卒都大肆掠搶，老百姓都深受苦害，只有武帝的軍隊無所侵犯。
隆安五年(341)春天，孫恩頻繁進攻句章，武帝屢次擊敗他，孫恩重新逃到海上。三月，孫恩向北開往海鹽，武帝在舊海鹽築起城牆，賊軍每日都來攻城，城內的兵少，武帝便選了一支敢死隊把賊軍趕走。當時雖然接連勝利，武帝卻深深地憂慮著眾寡不敵，就在一個夜裡把軍旗收了起來，以顯示自己方面的疲弱，看到敵方懈怠的時候，便奮力出擊，大破賊兵。孫恩知道城無法攻下，便向滬瀆進兵，武帝棄城追趕。海鹽縣令鮑陋派遣兒子鮑嗣之率領吳地兵士一千作為前驅，武帝因為吳地人不熟習打仗，命令他們排在後面，他們不答應。這一夜武帝設了很多奇兵，同時添置旗鼓，第二天戰鬥，伏兵殺了出來，賊兵撤退，鮑嗣之追趕逃敵，結果被消滅。武帝且退且戰，部下死傷將盡，便回到原來的地方停了下來，讓身邊的人們去解取死人的衣服以顯示出閒暇的樣子。賊兵懷疑還有埋伏，便退走了。六月，孫恩渡海到了丹徒，武帝加倍趕路與他一齊到達，迅速出擊，大破賊軍。孫恩到了建鄴，知道朝廷已經有了防備，於是逃往郁洲。八月，晉朝皇帝任命武帝為下邳太守。武帝又追擊孫恩到郁洲和海鹽，接連擊敗他們。孫恩從此以後出現饑荒，逃奔臨海。
元興元年(402)，荊州刺史桓玄率兵東下，驃騎將軍司馬元顯派劉牢之抵抗，武帝又參加了他的軍事行動。桓玄到達以後，武帝請求攻擊，劉牢之不許，卻派自己的兒子劉敬宣去找桓玄請求和解。武帝和東海人何無忌一齊竭力勸諫，劉牢之拒不聽從。桓玄攻克了建鄴，朝廷任命劉牢之為會稽內史。劉牢之恐懼，招武帝在廣陵起兵，武帝說：「人情不在了，廣陵又哪裡能得到呢？」劉牢之結果在新洲自縊而死。何無忌對武帝說：「我將到哪裡去呢？」武帝說：「可以隨我回京口。桓玄必定會保持對待臣子的節操，我可以和您一起侍奉他；不行的話，就和您一起對付他。」
桓玄的堂兄桓修以撫軍將軍的頭銜鎮守丹徒，任命武帝為中兵參軍。孫恩自從兵敗以後，害怕被抓獲，便在臨海投水而死，其餘的兵眾推舉孫恩的妹夫盧循為主帥。桓玄再次派武帝東征。
元興二年(403)，盧循逃奔永嘉，武帝追趕並擊破了他。六月，任命武帝為彭城內史。
十二月，桓玄篡奪了帝位，把晉朝的皇帝遷移到了尋陽。桓修調入朝廷，武帝跟隨到了建鄴，桓玄見了武帝，對司徒王謐說：「昨天見到了劉裕，風度不凡，確是世人中的豪傑呀。」每次遊樂宴集，贈送賞賜十分豐厚。桓玄的妻子劉氏，是尚書令劉耽的女兒，聰明智慧，很有見識，曾經見到武帝，便對桓玄說：「劉裕龍行虎步，目光不凡，恐怕必定不會做別人的下屬，要對他早作安排。」桓玄說：「我正在蕩平中原，非劉裕不可，等關、隴地區平定，然後再作討論。」
桓修不久回到京口，武帝借口說槍傷惡化，不能隨同，便與何無忌一同乘船返回，商討復興的方案，與弟弟劉道軌、沛國的劉毅、平昌的孟昶、任城的魏詠之、高平的檀憑之、琅笽的諸葛長人、太原的王元德、隴西的辛扈興、東莞的童厚之，共同謀劃大計。當時桓修的弟弟桓弘擔任青州刺史，鎮守廣陵，劉道軌擔任桓弘的中兵參軍，孟昶擔任青州主簿，於是武帝就讓劉毅到孟昶那裡謀劃共同襲擊桓弘。諸葛長人擔任豫州刺史刁逵的左軍府參軍，預謀佔據歷陽來相策應，王元德、童厚之預謀在建鄴進攻桓玄，時間一到一齊行動。
元興三年(404)二月二十七日，武帝假托遊獵，和何無忌，魏詠之，檀憑之，劉毅的堂弟劉藩，檀憑之的侄子檀韶、檀祗、檀隆、檀道濟，孟昶的族弟孟懷玉等人，聚集了義徒共二十七人，願意隨從的一百多人。二十八日，等城門打開，何無忌等義徒身穿傳達詔書人的服裝，口稱詔書走在前面，義徒們騎馬馳入城內齊聲大叫，官吏士兵都被驚散，隨即將桓修斬首示眾。武帝哭得十分傷心，進行了豐厚的埋葬和撫恤。孟昶勸桓弘在這一天外出打獵，天還沒有明，打開城門放出了打獵的人，孟昶、劉道軌、劉毅等率壯士五六十人，因城門打開而直接進入。桓弘正在喝粥，就被斬首，於是收集他的兵眾渡江。
義軍剛剛攻下京城，桓修的司馬刁弘率領文武官員前來攻打，武帝登上城頭對他們說：「郭江州已經在尋陽侍奉御車撥亂反正，我們全都奉了密詔誅除逆黨，現在逆賊桓玄的頭應當砍掉掛在大航的高桿上面。諸君難道不都是大晉的臣子嗎？」桓弘等人相信了他們，便退了回去。劉毅到了以後，武帝命令他殺死刁弘等人。
劉毅的哥哥劉邁原先住在建鄴，事情還沒發生的前幾天，武帝派遣同謀周安穆報告了他，讓他來作內應。劉邁非常恐懼，周安穆害怕事情暴露，馳馬返回。當時桓玄讓劉邁擔任竟陵太守，劉邁便乘船而下，打算到郡上任。這天夜裡，桓玄給劉邁寄信說：「北府的人情況怎麼樣？您最近見劉裕說了些什麼？」劉邁以為桓玄已經知道了他們的計謀，早晨起來就把情況告訴了他。桓玄很吃驚，封劉邁為重安侯，又因為他沒有把周安穆抓住，所以把他殺了，又殺了王元德、辛扈興、童厚之等。於是派遣頓丘太守吳甫之、右衛將軍皇甫敷抵禦北面的義軍。
在此以前，武帝曾到游擊將軍何澹之那裡去，身邊的人見武帝光耀滿室，便把這種現象告訴了何澹之，何澹之又說給了桓玄，桓玄並不介意，到了現在，聽說義兵起事了，非常恐懼。有人說：「劉裕他們非常虛弱，陛下何必過深地憂慮？」桓玄說：「劉裕足可以成為一世的雄傑，劉毅家裡沒有一石糧食的儲蓄，而賭博時擲骰子一押百萬，何無忌，是劉牢之的外甥，酷似他的舅父，共同舉辦大事，怎麼就說不能成功？」當時眾人推舉武帝為盟主，以孟昶為長史，總管後方事務，檀憑之為司馬，願意隨從的老百姓有一千多人。軍隊駐紮在竹裡，向京城發出了檄文。
三月初一，在江乘遇到了吳甫之，武帝親自拿著大刀，大聲呼叫，隨即把吳甫之殺死。進軍到羅落橋，遇到了皇甫敷，檀憑之戰敗被殺，眾人紛紛後退，武帝前進戰鬥更加猛烈，而且又殺了皇甫敷的頭。起初，武帝謀劃大計，有善於相面的人給武帝和何無忌等人相面，說他們近期一定會大貴，只是說檀憑之沒有貴相。到現在檀憑之戰死，武帝知道這件事必定勝利。
桓玄聽說皇甫敷等人已死，就派桓謙屯駐東陵口，卞范之屯駐覆舟山西面。三月初二，義軍進駐覆舟山東部，佈置了疑兵，用塗油的披肩蓋在樹上，佈滿山谷。武帝首先馳向敵軍，將士們全都進行殊死的戰鬥，無不一以當百，呼聲震天動地。又藉著風力放火，濃煙與火焰沖天，桓謙大敗。桓玄開始雖然派出了軍隊，但是逃走的心意已經決定，另外派遣了領軍殷仲文在石頭城準備好船隻，聽說桓謙失敗，便乘著輕快的小船向南逃跑了。
三月初三，武帝鎮守石頭城，任命了留守台閣的各級官員，在宣陽門外燒燬了供奉桓溫的牌位，在太廟中建造了晉朝的新神主。派遣各路將官追擊桓玄，命令尚書王嘏率領百官迎接皇帝的車駕。司徒王謐與眾人商議推舉武帝兼職掌管揚州，武帝堅決推辭，便以王謐擔任錄尚書事、兼任揚州刺史，武帝擔任鎮軍將軍、都督八州諸軍事、徐州刺史、領軍將軍。
起初，晉陵人韋叟擅長相面術，桓修讓他相一相武帝是不是能當上州官，韋叟說：「應當做邊遠州的刺史。」回頭又私下對武帝說：「您的面相貴不可言。」武帝笑著說：「如果說中了，一定任用您為司馬。」到了現在，韋叟去見武帝說：「周成王不忘桐葉之信，您也應該不忘司馬之言。現在我不敢希望做鎮軍司馬，只想能夠兼任一個軍佐。」於是就任用了他。
當時諸葛長人沒有如期趕到，被刁逵抓住押送過去，還沒到達，桓玄就失敗了。桓玄經過尋陽，江州刺史郭昶之為他準備了車子和儀仗器物。起初，荊州刺史王綏因為是江東的顯貴世族，又是桓氏的外甥，平時對武帝十分欺侮，到了現在，與他的父親尚書左僕射王愉都抱有懷疑心理，一齊被殺死。
四月初一，尊奉武陵王司馬遵為大將軍，按照聖旨，實行大赦，只有桓玄祖父的後輩不予赦免。桓玄篡位，是由王謐輔佐的，是他親手解下晉安帝的玉璽。等到義旗樹立，眾人都說王謐應該殺掉，只有武帝平時對王謐很感激，因而保護他。劉毅曾經趁朝會的機會，問王謐玉璽在什麼地方，王謐更加恐懼。等到王愉父子被殺，王謐的堂弟對王謐說：「王駒無罪而被殺死，這是剷除勝過自己的人，兄長既是桓氏一黨的人，希求免禍能夠做到嗎？」駒，是王愉的小字。王謐恐懼，逃奔曲阿。武帝告訴大將軍把他迎接回來，恢復了他的職位。
桓玄挾持天子逃往江陵，又渡江東下，與劉毅、何無忌、劉道軌等在崢嶸洲相遇，眾軍把他打得大敗。桓玄的黨徒殷仲文擁戴兩位皇后回到建鄴。桓玄重又挾持天子到了江陵，並從那裡逃往南郡，太守王騰之、荊州別駕王康產擁戴天子進入南郡府。
起初，益州刺史毛璩派遣侄孫毛佑之和參軍費恬為弟弟送喪離開州城，毛璩弟弟的兒子毛修之當時做桓玄的屯騎校尉，引誘桓玄進入蜀地，到了枚回洲，費恬和毛佑之迎面用箭射他，益州督護馮遷殺死了桓玄，把人頭送往建鄴。桓玄的侄子桓振逃到華容的湧中，招集逆黨，襲擊江陵城，王騰之、王康產都被殺死。桓謙先前曾藏在沮川，也聚集人馬與桓振呼應。他們為桓玄舉行哀悼，設立了喪庭。桓謙率領眾官員奉獻玉璽給晉安帝。劉毅、何無忌進軍與桓振交戰，在靈溪戰敗。
十月，武帝兼任青州刺史，可以帶領衛士一百人進入宮殿。
義熙元年(405)正月，劉毅等到達江津，擊敗了桓謙、桓振，江陵平定。三月十三日，晉朝皇帝從江陵來到。十九日，詔令晉陞武帝為侍中、車騎將軍、都督中外軍事、錄尚書事。武帝堅持推辭，不久鎮守丹徒。九月二十七日，任命武帝兼做兗州刺史。
盧循渡海攻破廣州，俘獲了刺史吳隱之，於是便以盧循為廣州刺史，以他的同黨徐道覆為始興相。
義熙二年三月，晉陞武帝督率交、廣二州。十月，評論匡復晉朝的功勳，封武帝為豫章郡公，食邑一萬戶，賜絹一萬疋。其餘的人封賞各有差別。
三年十二月，司徒、錄尚書、揚州刺史王謐去世。
四年正月，徵調武帝入朝輔政，授職擔任侍中、車騎將軍、開府儀同三司、揚州刺史、錄尚書事，徐、兗二州刺史依舊保留。武帝上表解去兗州職務。在這以前，武帝曾經派遣冠軍劉敬宣討伐蜀地的賊寇譙縱，結果沒有成功回來了。九月，武帝因為劉敬宣敗退，請求退位，沒有批准。十月，降級為中軍將軍，開府職位仍然不變。
五年二月，偽燕國國主慕容超大肆掠奪淮北。三月，武帝上表請求去北方討伐，讓丹陽尹孟昶監管中軍留府事務。於是渡過淮水進入泗水，五月，到達下邳，留下船隻，軍隊步行前進到了琅笽，所經過的地方，都築城留人守衛。
慕容超的大將公孫五樓請求佔領大峴山，堅壁清野等待對方，慕容超不肯聽從。最初謀劃這次戰役，參加討論的人認為賊軍如果嚴守大峴山，軍中沒有所需物資，自己怎麼能夠返回？武帝說：「並不是這樣。鮮卑人性格貪婪，謀劃事情看不到遠處，既慶幸自己的勝利，又十分愛惜那些穀物，必然會引誘我們，而且會輕率交戰。部隊一入峴山，我們還有什麼擔憂呢？」等到進入了峴山，武帝舉手指著天說：「我們的事情成功了。」眾人詢問其中的緣故，武帝說：「軍隊已經越過險要地形，兵士都有必死的鬥志，餘糧儲存在田野當中，軍隊沒有缺乏給養的憂慮，勝利是可以斷定的。」
六月，慕容超留下老弱兵士守衛廣固，派他手下的廣寧王賀剌盧與公孫五樓全力佔據臨朐。離城四十里有個巨蔑水，慕容超告誡公孫五樓要抓緊佔據它。等他趕到，已經受到龍驤將軍孟龍符的保衛，公孫五樓只得退回。
大軍把四千輛兵車分為兩翼，兩車並排慢慢行駛，車前張掛帷幔，御手拿著長矛，以騎兵為流動軍隊，軍令十分嚴肅。等到達臨朐，賊軍的騎兵一齊來到，武帝命令兗州刺史劉藩、并州刺史劉道憐等攻陷敵軍陣地。太陽偏西的時候，戰鬥仍然十分激烈，武帝利用參軍胡藩的計策，襲擊攻克臨朐，賊軍於是大肆逃奔。慕容超逃回廣固，獲得了他的玉璽、豹尾、轎車等，送到都城。十九日，攻克了廣固的大城，慕容超加固了它的小城。武帝於是設下了很長的包圍圈進行監守，吃住都在青州，停止了長江、淮河的物資轉運。
七月，慕容超的尚書郎張綱去向姚興請求救兵，從長安返回，泰山太守申宣把他捉住押送過來。張綱具有巧妙的構思，先前，武帝製造攻城的器具，城上的人說：「你們得不到張綱，怎麼能製成呢！」等到張綱來到，城內的人無不大驚失色。慕容超既然求救沒有成功，張綱反被俘虜，於是便請求稱臣，割大峴山為界，獻馬一千匹，武帝不答應。
當時姚興派遣使者，聲言將要渡過淮水東下，武帝對他說：「你報告姚興，我平定了青州，將要跨過函谷關，他這賊寇若能自己送上門來，現在正是時候。」錄事參軍劉穆之忽然進來說：「這話不足以威脅敵人，也許會激怒他們。如果鮮卑沒有戰勝，西羌又來侵擾，您將怎麼對付？」武帝於是笑著說：「這是軍事機密，不是您所能知道的。西羌如果能夠來救，不會先有聲明，這只是他們自己在故作強大。」
十月，張綱製成了攻城器具，設計了飛樓懸梯、木幔板屋，上面蓋上牛皮，弓箭就無法奏效了。劉毅派遣上黨太守趙恢率領一千餘人前來援助，武帝夜間暗中派軍隊與他會合。天明後，趙恢的部隊五千人，才上路前進，每當晉朝使者將到的時候，就如此重複一遍。
六年二月初五，攻克了廣固進行屠殺，慕容超越過城牆逃走，結果追上了他，在建康的街市上將他斬首。殺掉了他的王公以下官員，獲得人口一萬多、馬二千匹。
起初，武帝進軍北方，徐道覆勸盧循乘虛而出，盧循不聽，徐道覆於是去到番禺說服盧循說：「今天的機會，萬萬不可丟失。如果你攻佔了京都，劉公雖然回來，也沒有什麼辦法了。」盧循聽從了他。這月，侵犯南康、盧陵、豫章等郡，郡守都逃走了。當時武帝將要鎮守下邳，進軍到了黃河、洛水，等徵調的使者到後，當天就班師還朝了。鎮南將軍何無忌與徐道覆交戰，失敗戰死在豫章，朝內外都很震驚，朝中的議論想擁戴皇上向北逃走。武帝駐軍在山陽，聽說失敗，脫去盔甲與幾十個人一起到江上去調查詢問，知道賊軍還沒有到達。
四月初二，武帝到了京都。劉毅自己上表請求南征，武帝認為賊軍剛剛打了勝仗，氣勢正盛，必須軍容嚴整，共同前進，便讓劉藩制止他，劉毅不聽從。五月的壬午日，盧循在桑落洲打敗了劉毅。等他們得知了武帝勝利進入，個個互相對視，大驚失色，企圖退回尋陽，平定江陵，據守二洲來對抗朝廷。徐道覆請求乘勝繼續前進，爭論了十天，才依從了他的意見。
這時北國的軍隊剛退回去，創傷沒有恢復，戰士只有幾千人，而賊軍卻有十幾萬，戰船綿延千里。孟昶、諸葛長人很恐懼，打算保護天子過江，武帝說：「現在兵士雖然少，還足可以一戰，如果敵寇渡江成功，大臣、君主就會共同滅亡；如果不是這樣，不可能再在草野間求得活命，我的主意已經定了。」起初，武帝征討慕容超，只有孟昶鼓勵行動，四月初五，孟昶便上表給天子，引罪自責，服藥而死。
當時的議論者企圖分兵屯守各個渡口，武帝說：「賊眾我寡，分兵以後則會有人探測到虛實，一處失利，就會破壞三軍的心態，如果在石頭城聚集各軍，則各軍的力量不會分散。」四月初七，武帝轉移駐地到石頭城。十四日，賊軍大規模開來，武帝說：「賊軍如果由新亭直上，就暫且迴避它；如果回頭停泊在蔡洲，就會被捉住的。」徐道覆打算從新亭燒燬船隻交戰，盧循疑慮多決斷少，常常追求萬全之策，於是便停泊在蔡洲以等待軍隊潰敗。武帝登上石頭城遠望，見到了這種情形，很高興。二十九日，賊軍在南岸設下伏兵，又向白石派出疑兵。武帝率領劉毅、諸葛長人向北出兵抵禦，留下了參軍徐赤特守衛查浦，告誡和命令他們不准交戰。武帝北出以後，賊軍焚燒了查浦而到達張侯橋，徐赤特與他們交戰，大敗，賊軍前進屯駐在丹陽郡。武帝馳馬回到石頭城，斬了徐赤特。解去盔甲很長時間，才在南塘出陣。七月初十，盧循從蔡洲撤退，準備歸回尋陽，武帝派遣輔國將軍王仲德等追擊。讓建威將軍孫處從海道上襲擊番禺，告誡他說：「我在十二月必定擊破妖寇，您也足可以到達番禺，要首先搗毀他的巢穴。」
十月，武帝率領艦隊南伐，派劉毅監管太尉留府。這月，徐道覆攻擊江陵，荊州刺史劉道軌把他打得大敗，徐道覆逃回湓口。十一月，孫處到了番禺，把城攻破，盧循的父親盧嘏逃奔始興，孫處安撫當地民眾進行守衛。十二月初一，大軍駐紮在大雷。初二，賊軍沿江而下，武帝親自拿著軍旗和戰鼓，命令各路軍隊奮力拚殺，軍中有很多萬鈞神弓，所到之處無不摧毀。武帝自己在中流皺眉觀看，順著風和水的走勢，賊艦全都先靠近西岸，岸上軍士事先已經準備好了火把，將他們全部燒燬，殺得大敗。盧循回到尋陽，接著便逃往豫章，全力在左裡建造柵欄。十八日，大軍駐紮在左裡，即將開戰，武帝揮動令旗，令旗的旗竿折斷，旗子沉入水中，眾人都很恐懼，武帝笑著說：「過去的覆舟戰役也是這樣，今日的勝利是必定無疑的了。」猛攻敵軍的柵欄，盧循單獨乘著一條船逃走，眾官兵都投降了。大軍凱旋，晉安帝派侍中黃門到營地去進行慰勞。
義熙七年正月十二日，整頓部隊歸來，改任他為大將軍、揚州牧，贈給他班劍二十人，原來的官職依舊。武帝堅持推辭。凡是南北征討戰死者，全都列出姓名請朝廷贈發錢財治喪，屍體失掉沒有返回的，派遣主帥前去迎接，使歸還本土。
二月，盧循到了番禺，被孫處擊敗，收羅剩餘兵眾向南逃走。劉藩、孟懷玉在始興將徐道覆殺死。
自從晉朝中興以來，朝廷的綱紀鬆弛紊亂，權貴之門互相兼併，老百姓流離失所，不能保持自己的產業。桓玄很想改變這種狀況，結果沒能實行。武帝做了輔佐大臣以後，大力宣傳規章制度，豪強謹慎規矩，遠近遵法守紀。到現在，會稽余姚的虞亮又隱藏了逃亡人員一千多人。武帝殺死了虞亮，罷免了會稽內史司馬休之。
晉安帝重申了以前的授官詔令，武帝堅持推辭。於是改授他為太尉、中書監，他才接受了任命，奉送了黃鉞。
交州刺史杜惠度殺死了盧循父子，將七個人頭用盒子裝了送到京城。
在這以前，各州所送的秀才、孝廉大多名不符實，武帝於是上表申明從前的規定，對他們進行策試。
荊州刺史劉道軌患病，要求回鄉，義熙八年四月，改授豫州刺史，讓豫州刺史劉毅去代替他。劉毅一向具有雄才大志，與武帝一起興復晉朝，自認為京城、廣陵的功勞足以互相抗衡，雖然暫且推舉武帝，而心中卻不服氣。他非常自傲自誇，朝士中素有威望者多去歸附他，他與尚書僕射謝混、丹陽尹郗僧施都結交很深。等他去鎮守江陵，豫州舊府的下屬許多人都辭職去跟隨他，他奏請讓郗僧施任南蠻校尉。武帝知道劉毅終究是一個異端人物，心裡在秘密算計他。劉毅到了西部，稱言病重，上表請求讓堂弟兗州刺史劉藩作為副手，武帝假裝答應了他。九月，劉藩入朝，武帝命令逮捕劉藩和謝混，一併賜死。自己上表請求討伐劉毅，又借掌黃鉞，率領各路軍隊西征。任命前鎮軍將軍司馬休之為平西將軍、荊州刺史，兗州刺史劉道憐鎮守丹徒，豫州刺史諸葛長人監管太尉留府事務，任命太尉司馬丹陽尹劉穆之為建威將軍，給他配備實際兵力。十五日，從建鄴出發，派遣參軍王鎮惡、龍驤將軍蒯恩前往襲擊江陵，將城攻破，劉毅及其黨羽全部被殺。
十一月，武帝到了江陵，分出荊州的十個郡成為湘州，武帝仍舊前往督察。任命西陽太守朱齡石為益州刺史，讓他討伐蜀地，晉安帝晉陞武帝為太傅、揚州牧，贈給羽葆、樂隊，儀仗二十人。
九年二月三十日，武帝從江陵到來。起初，諸葛長人貪婬驕橫，武帝常常寬容他。劉毅處死以後，諸葛長人對他的親信說：「從前剁死彭越，今年殺死韓信，災禍就要到了。」準備陰謀作亂。武帝按時到達都城，卻常常停留不進。公卿以下，連日在新亭等候，諸葛長人也忽然出現。隨後武帝乘一隻輕快小船秘密到達，已經回到了東府。諸葛長人到了府門，被叫到面前，擯退旁人說起閒話，凡是平生所沒有說盡的話，都和他說到了，諸葛長人非常高興。武帝秘密命令身邊的武士丁日午從布幔後出來，從座位上把他拉開，殺死在床邊。用車子拉著他的屍體交給廷尉，並且處死了他的弟弟諸葛黎人。丁日午驍勇有力，當時的人有諺語說：「勿跋扈，會丁日午。」
以前，山湖川澤都被豪強所奪取，百姓打柴、採摘、打魚、垂釣，都要強迫交稅，到現在一律禁絕。當時人們的居住很不統一，武帝上表制定了條例，於是都依劃分的土地為準，只有徐、兗、青三州居住在晉陵的人不在劃分的範圍。各個流民聚集的郡縣，有許多進行了合併。
由武帝兼任鎮西將軍、豫州刺史。武帝堅持辭去太傅、揚州牧和班劍，歸還了黃鉞。
七月，朱齡石平定了蜀地，斬了譙縱，把他的人頭傳送到建鄴。
九月，晉安帝因為武帝平齊國、定盧循的功勞，封武帝的次子劉義真為桂陽縣公；並且重申以前的任命，授給武帝太傅、揚州牧的職務，配備葆羽、樂隊，儀仗二十人。將吏百官鼓動勸導，才接受了羽葆、樂隊、儀仗，其餘堅決推辭。
義熙十年，精簡勞役，讓人民得到休息，建築東府城，修建府衙房舍。
武帝看到荊州刺史司馬休之宗室繁盛，又很得長江、漢水一帶人心，懷疑他存有異志；而司馬休之的兒子司馬文思住在京城，招聚輕捷俠客，武帝把他抓住送交給司馬休之，讓他自己去處理。司馬休之上表請求廢除司馬文思的爵位，並且給武帝寫信致謝。
義熙十一年(415)正月，武帝逮捕了司馬休之的兒子司馬文寶、他哥哥的兒子司馬文祖，一併賜命自殺。率領大軍西出討伐。重新借掌黃鉞，兼任荊州刺史。派中軍將軍劉道憐監管留府的事務。司馬休之上表自我剖白，並列舉武帝罪狀。司馬休之幕府中的錄事參軍韓延之有大用之才，武帝還沒到江陵，就秘密寫信招他。韓延之回信說：「承蒙親自率領兵馬，遠赴西部地區，全境內的士子平民，無不惶恐驚駭。蒙您來信，知道是因為譙王以前的事，更增添了歎息。司馬平西忠於國家，寬宏待人，因為您有匡復晉朝的功勳，是國家依賴的人物，推讚您的德行，向您敬獻誠意，常常進行詢問請教。譙王因為一點小事被彈劾，仍然自己上表辭位；何況有了大錯會緘默不語麼！來信說，『懷抱虛靜，期待賢才，由來已久』。現在攻打別人的君長，而以私利引誘別人，真可以說是『懷抱虛靜，期待賢才』了呀。劉藩死在宮殿門前，諸葛亡於嘍囉之手，甜言蜜語使州官們驚詫，突然襲擊又開來輕兵，於是使得客席上沒有誠心的士人，外地區沒有自信的諸侯，自以為是得意算盤，實在是一種恥辱。我雖然粗鄙拙劣，但是卻曾經聽君子講過人生道義。以平西將軍的高尚品德，難道會沒有能夠授官的臣子麼？藉著天下喪亂，九流渾濁，應當與臧洪在地下共同遊玩。不再多說。」武帝看信後深深歎息，拿它來給將士們看說：「追隨別人就應當是這樣。」
三月，軍隊駐紮在江陵。起初，雍州刺史魯宗之依仗氣力喜好亂為，而且顧慮不為武帝所容，常常念叨讖語說：「魚登日，輔帝室。」與司馬休之互相串通。到了現在，率領他的兒子竟陵太守魯軌會聚在江陵。武帝渡過長江，司馬休之的軍隊潰敗，與魯軌等人逃奔襄陽，江陵平定。武帝兼任南蠻校尉。將授南蠻官銜時，正遇上四廢日，下屬官員鄭鮮之等人建議改換一個日子，武帝沒有答應。下令開恩實行寬大政策。
四月，進軍襄陽，司馬休之等人逃奔姚興。晉安帝重申先前的命令，授職武帝擔任太傅、揚州牧，可以帶劍穿履朝見皇帝，入朝不須趨步，贊拜不須報名，加贈前部羽葆、樂隊，設置左右長史、司馬、從事中郎四人，封第三子劉義隆為北彭城縣公。八月十三日，武帝從江陵返回，奉還黃鉞，堅決推辭太傅、州牧、前部羽葆、樂隊，其餘的接受了任命。
義熙十二年正月，晉安帝詔令武帝依舊徵召士人，兼任平北將軍、兗州刺史，加上督率南秦，共二十二州。武帝因為平北府中文武人才缺乏，不適合另外設置，於是撤銷了平北府，把它併入大府。三月，任命武帝為中外大都督。
起初，武帝掃平了齊國入侵，仍然有平定關中、洛陽的意思，遇上盧循侵襲逼迫，所以放下了。等到荊州、雍州平定，於是開始謀劃外部策略。正趕上姚興死去，他的兒子姚泓剛剛繼任，兄弟互相殺戮，關中混亂。四月十八日，武帝上表討伐關中、洛陽，便戒嚴討伐北方，命令他兼任征西將軍、司豫二州刺史。任命他的世子為徐、兗二州刺史。武帝希望以自己的聲望懷柔遠方，接受了琅邪王的封號北伐。五月，廬江的霍山崩裂，獲得了六口鐘，獻給了天子。十七日，加職兼任北雍州刺史，前後部羽葆、樂隊，增加班劍為四十人。八月十二日，率領大軍進發，以世子為中軍將軍，監管太尉留府事務，尚書右僕射劉穆之為左僕射，兼任監軍、中軍二府的軍司，住進東府，總管內外一切事務。九月，武帝到了彭城，加職兼任北徐州刺史。十月，各軍到達洛陽，包圍了金墉，迫使他們投降。修復了晉朝皇家的五陵，設置了守衛。
十二月二十九日，晉安帝加任武帝為相國、總百揆、揚州牧，封賞十郡為宋公，具備九錫之禮，賜給玉璽、遠遊冠、綠綬帶，地位在諸侯王之上。
十三年正月，武帝利用船隊前往討伐，留下彭城公劉義隆鎮守彭城。軍隊駐紮在陳留城，經過張良廟，下令要定時維修裝飾廟宇和祭奠。晉安帝追贈武帝的祖父為太常，父親為特進、左光祿大夫，武帝辭讓不肯接受。二月，冠軍將軍檀道濟等人的軍隊駐紮在潼關。三月初八，武帝率領大軍進入黃河。五月，武帝到達洛陽，拜謁晉朝的五陵。七月，到了陝州，龍驤將軍王鎮惡的水軍從黃河進入渭河。八月，扶風太守沈田子在藍田大破姚泓的軍隊。起初義熙九年，木星、土星、火星、金星曾經聚攏在井宿，到現在終於關中平定。九月，武帝到長安。長安豐收，國庫積滿，武帝首先收集了他們的彝器、渾天儀、土圭、記裡鼓、指南車以及秦始皇玉璽送到京城；其餘的珍寶珠玉，全都分別賞賜給將帥。把姚家宗族遷徙到江南，押送姚泓到建康，在街市上將他斬首。武帝拜謁了漢朝的長陵，在未央殿大會文武官員。
十月，晉安帝下詔晉陞宋公為宋王，增加十郡擴大宋國，加上以前的共二十郡。他的相國、揚州牧、兼征西將軍、司豫北徐雍四州刺史仍舊不變。武帝打算在長安休息，經略趙、魏兩地，十一月，前將軍劉穆之去世，於是才返回。十二月初三，從長安出發，以桂陽公劉義真為雍州刺史，鎮守長安，留下心腹將領來輔佐他。
義熙十四年(418)正月二十六日，武帝到了彭城，解除戒嚴，脫去盔甲。以輔國將軍劉遵考為并州刺史，兼河東太守，鎮守蒲阪。武帝辭去了司州職務，兼領徐、冀二州刺史，堅持推讓晉陞爵位。當時漢中成固縣的漢水旁邊有奇異的聲音如同打雷，不一會河岸崩裂，有十二口銅鐘，從地下暴露出來。鞏縣人宗曜在他的農田里得到了一株好莊稼，九個穗子同在一個莖上，武帝把它獻給晉安帝，安帝又歸還給他，武帝謙讓，才算結束。
六月二十三日，接受了賜給相國宋公的九錫，下令赦免國內死刑以下的罪犯。詔令尊崇豫章太夫人為宋公太妃，世子為中軍將軍副官，相國府百官都依照朝廷的建制。又詔令宋國在所封的十郡以外，都可以選人任用。
先前，安西中兵參軍沈田子殺死了安西司馬王鎮惡，將領們殺死了安西長史王修，關中混亂。十月，武帝派遣右將軍朱齡石代替安西將軍桂陽公劉義真為雍州刺史。劉義真回京，被赫連勃勃所追趕，大敗，僅僅自己一人逃脫，眾將帥和朱齡石都被殺死。
十二月，晉安帝逝世，大司馬琅笽王登上皇帝位。
元熙元年(419)正月，晉恭帝下詔征武帝入朝輔政，又重申以前的命令，把他的爵位由公晉陞為王，把徐州的海陵、北東海、北譙、北梁，豫州的新蔡，兗州的北陳留，司州的陳郡、汝南、穎川、滎陽十郡，增加為宋國屬地。七月，才接受了命令。赦免國內五年徒刑以下的罪犯，遷都到壽陽。九月，辭去了揚州的職務。十二月，晉恭帝命令武帝的冕冠可以有十二個玉串，建立天子的旌旗，出入警戒清道，乘坐金根車，駕車用六匹馬，具備五時副車，設置旄頭雲罕，樂舞使用八佾，設置編鐘木架懸掛在宮中。晉陞王太妃為太后，王妃為王后，世子為太子，王子、王孫的爵位封號，完全和舊時的規制一樣。
二年正月，武帝上表辭讓特殊禮遇。竟陵郡江濱自己裂開，露出了古銅禮器十幾枚，武帝把它們獻給了晉恭帝，恭帝推讓不肯接受，於是送回了各種祥瑞器物，收藏在宰相府。四月，下詔書派人敦促勉勵，兼征武帝入朝輔政。六月初一，武帝到達京城。初九，晉恭帝禪讓帝位給宋王。有關部門把詔書的草稿寫成後，請恭帝把它書寫下來，天子隨即便拿起筆來，對身邊的人說：「桓玄的時候，天命已經改換，重又被宋公接續下來，將近二十年。今天的事情，本是我心甘情願的。」十一日，晉恭帝派遣使者送上文書，又派遣使持節、兼太保、散騎常侍、光祿大夫謝澹，兼太尉、尚書劉宣范送上璽書，轉交皇帝的玉璽，受禪的禮節，完全和唐虞、漢魏從前的辦法一樣。武帝上表進行辭讓，晉恭帝已經退到琅笽王府，奏表沒有送到。於是陳留王司馬虔嗣等二百七十人和宋台的群臣一齊上表勸武帝即皇帝位，他還是不答應。太史令駱達陳述天文符應說：「按晉朝的義熙元年到元熙元年，金星白天出現，共有七次經過天空，占卜說：『金星經過天空，人間換主，異姓新興。』義熙七年，有五條虹出現在東方，占卜說：『五虹出現，天子廢黜，聖人將出。』九年，土星、木星、金星、火星相聚在井宿。十三年，土星進入太微星。占卜說：『鎮星(土星)守太微，有王新立，有王遷徙。』元熙元年冬天，黑龍四次升到天上，《易傳》說：『冬天，龍出現，天子失去國家，大人接受天命。』冀州道人釋法稱告訴他的弟子道：『嵩山之神說，江東有一個劉將軍，是漢朝皇家的後代，應當承受天命，我將把玉璧三十二隻、鎮金一餅送給他，這是劉家占卜傳國應有的世數啊。』漢朝建武到建安末共一百九十六年而禪讓給魏朝，魏朝從黃初到鹹熙末共四十六年而禪讓給晉朝，晉朝從泰始到現在共一百五十六年，三代相讓，都是到六結束。又漢光武帝在南陽建立社宮，漢末而社宮前的樹死亡，劉備建立蜀國，就是和這相應而興起；到了晉朝末年，舊根才開始萌發，到現在已經繁盛起來了。」諸如這些共有幾十條。群臣又堅持請求，武帝才依從了。
永初元年(420)夏季六月十四日，武帝即位於南郊，設立祭壇，燒起木柴祭天。典禮結束，備好車駕，到了建康宮，坐在太極前殿，宣佈大赦，改換年號。賜給每人爵位二級。鰥寡孤獨不能自己生活的人，每人發給穀物五斛，拖欠的租稅舊債不再收取。那些因為品評鄉里人物、發表公正言論以及隱贓、貪污、婬穢、盜竊而被判罪的，一律免除。長期刑徒，全部寬大遣返。丟官失爵、受到監禁、強制勞役的，全都恢復舊時的狀況。封晉恭帝為零陵王，可以將全郡作為食邑，懸掛天子的旌旗，乘坐五時副車，實行晉朝的曆法，郊外祭祀天地，禮樂制度，都用晉朝的典制，上書不稱作表，答表不稱作詔，宮殿定在原來的秣陵。追尊皇父為孝穆皇帝，母親為穆皇后，尊王太后為皇太后。
永初三年五月，皇上病危，召來太子，告誡他說：「檀道濟雖然有才幹，卻沒有遠大志向，不像他的哥哥檀韶有難以駕馭的氣概。徐羨之、傅亮看來不會有異圖。謝晦屢次跟隨征伐，很善於隨機應變，如果有異圖，必定就是這個人。要縮小他的勢力，可以在會稽、江州安置他。」又寫了手詔：「朝廷不需要再有別府，宰相掌管揚州，可以設置鎧甲武士一千人。如果大臣擔任重要職務，應該派自己的爪牙，以防備居心不良的人，可以把京城留守部隊交給他。有外出征討，全部撥給京城部隊，戰爭結束歸來恢復原狀。後世如果有幼主，朝中的政事全部委任宰相，母后不要臨朝。儀仗軍隊不許進入宮殿門，重要人物可以多給班劍。」二十一日，皇上在西殿逝世，當時年齡六十歲。七月二十五日，埋葬在丹陽建康縣蔣山初寧陵。群臣上謚號為武皇帝，廟號稱高祖。
武帝清心寡慾生活簡單樸素，很少慾望，風格嚴整，具有法度，不曾細看珠玉車馬這些物品，後庭沒有紈綺絲竹各種音樂。起初，朝廷沒有設置樂隊，長史殷仲文因此建言，武帝說：「每天都忙不過來，而且也聽不懂啊。」殷仲文說：「經常聽自然就懂了。」武帝說：「正因為懂了，就會愛好它，所以才不去熟悉它。」寧州曾經貢獻琥珀枕，光色十分美麗，價值百金。當時將要北伐，因為琥珀可以治療槍傷，皇上非常高興，命令砸碎分別送給各位將軍。平定關中後，得了姚興的侄女，十分寵愛，因此荒廢了軍政大事，謝晦勸諫，馬上就把她送出去了。財物都在外府，內部沒有一點私人積藏。宋台建立以後，有關部門奏請東西堂中放上曲形高腳的坐榻———局腳床，用鍍金的釘子，皇上不允許。結果使用了直腳床，釘用鐵釘。廣州曾經貢獻入筒細布，一匹長八丈，武帝討厭它的精美累人，於是就交給了有關部門彈劾廣州太守，把布還給他們，並且下令嶺南禁止紡織這種布。武帝平時有一種熱病，並且患有槍傷，晚年尤其厲害，坐臥常常需要冷東西，後來有人獻了一張石床，睡上，覺得極好，於是歎息說：「木床尚且很費錢，何況是石床呢。」就讓人把它給毀了。他下令各個公主出嫁，陪送不超過二十萬，沒有錦繡金玉。朝內外的人供給宮中費用，無不節約儉省。性格尤其喜歡簡易，曾經穿一雙連齒的木屐，喜歡出來在神武門內左右散步，隨從的不過十多人。當時徐羨之住在西州，他曾經很想念徐羨之，便步行走出了西掖門，儀仗人員陸續追隨上來，已經出了西明門了。諸位兒子早晨來慰問起居情況，進門後脫去公服，只穿戴裙子帽子，就像家庭中的禮節一樣。
當初身份低微的時候，他曾經在丹徒種田，接受天命以後，鋤、鍬等農具還有一些被保存下來，他命令把它們都收藏起來，以便留給後人。後來宋文帝視察舊宮，見到後問起來，身旁的人按照實際情況作了回答，文帝臉上很羞愧。有一個貼身的侍從進言說：「大舜曾經住在歷山種田，大禹曾經親自從事土木，陛下不看到各位先聖的遺物，怎麼知道稼穡的艱難，怎能知道先帝的大德呢？」到了孝武帝大明年間，拆毀了武帝所住的陰暗房子，在原地築起了玉燭殿，和群臣一起觀看，床頭有土障，牆上掛著葛草制的燈籠，麻繩制的拂塵，侍中袁青十分稱讚皇上的儉素品德，孝武帝不作回答，獨自說道：「田舍公得到了這些，已經是過分了。」所以他能夠佔有和光照天下，完成大業，真是太隆盛了！