桓玄篡位之後，北府兵將領劉裕率領兵將向建康發動進攻。桓玄抵擋不住，只得帶著晉安帝逃跑。後來，桓玄被殺，劉裕迎接安帝復位。其實，晉安帝只是劉裕的傀儡，東晉的實權完全掌握在劉裕手裡。
劉裕出身低微，小時候家裡十分貧窮，這使得劉裕從小就開始肩負起家庭的重擔，從事繁重的體力勞動。劉裕長大之後，投身行伍，並多次立下戰功，特別是迎取晉安帝復位更是讓他名利雙收，不僅掌握了東晉王朝的實權，還被奉為東晉的英雄。可是，這對打算篡奪東晉政權的他來說還遠遠不夠。這是因為他出身低微，得不到士族大家的支持。為了擴大自己的勢力，提高自己的威望，為篡奪帝位贏得政治資本，他決定出師北伐。
公元409年，劉裕率領大軍，從建康出發，正式開始北伐。他北伐的第一個目標是南燕。南燕的國君慕容超是一個昏君。他雖然很聰明，但完全沒有把心思放在治理國家上，腦子裡想的只是如何向百姓徵收賦稅，去哪裡打獵一類的事情。當劉裕率領大軍向南燕逼進的時候，慕容超頓時方寸大亂，不知道該如何應對。他手下的大臣向他提出三個計策：一是不做防範，當劉裕率領大軍來攻城的時候，派兵出城與劉裕大軍決一死戰，這是下策；二是堅壁清野，讓劉裕大軍得不到補給，在對峙一段時間後，劉裕一定會退兵，這是中策；三是躲避劉裕大軍的鋒芒，盡量拖延時間，再派精銳部隊將劉裕的糧道截斷，然後前後夾擊，這是上策。慕容超對打仗一竅不通，最後選擇了下策，很快就被劉裕打得一敗塗地。
慕容超眼看亡國在即，立即派人向鄰國後秦求救。後秦國主姚興擔心劉裕消滅南燕後會向後秦用兵，便答應援助前燕。他派使者到晉軍大營對劉裕說，後秦已經在洛陽佈置了十萬大軍，如果劉裕要攻打南燕，後秦一定會援助南燕。
劉裕聽後輕蔑地對後秦的使者說：「你回去對姚興說，我這次本來只打算消滅南燕，並沒想消滅你們，但是如果你們自尋死路，那我也就把你們一併收拾了，免得以後再勞師遠征。」
後秦的使者離開後，有人擔心劉裕的話會激怒姚興，導致後秦發兵。劉裕卻非常鎮定地說：「正所謂『兵貴神速』，如果後秦真的出兵，那麼他們就一定會悄悄地出兵，根本沒有必要提前通知我們。現在他們這樣做，無非是虛張聲勢。如今他們正和夏國交戰，哪裡顧得上別人呢？」
劉裕說得沒錯，當時後秦正在與夏國打仗，根本就無暇顧及南燕。此後不久，劉裕就將孤立無援的南燕給滅了。
幾年之後，劉裕再次領兵北伐，這次他的目標是後秦。他把朝政交給尚書左僕射劉穆之管理，自己率領水軍沿著黃河北上，前鋒檀道濟和王鎮惡率領步兵向洛陽方向進攻。
晉軍前鋒檀道濟和王鎮惡非常順利地就將洛陽攻下。劉裕原本打算命令前鋒軍在攻下洛陽後先不要冒進，等到後面的主力部隊到達後再深入到後秦境內。可是，檀道濟和王鎮惡看到後秦不斷爆發內亂，潼關守軍薄弱後，便兵分兩路攻打潼關。由於受到後秦部隊頑強阻擊，檀道濟和王鎮惡與後秦部隊形成了相持之勢。
公元417年，劉裕親率大軍北上，後秦國主姚泓知道抵擋不住劉裕大軍，便向北魏皇帝拓跋嗣求援。當時北魏的勢力很強大，拓跋嗣決定幫助後秦一起對付劉裕，他在黃河北岸集結了十萬大軍，威脅劉裕的部隊。
劉裕命令水軍乘船沿著黃河前進。沒想到，北魏派出幾千名騎兵在岸上跟隨，並不停地騷擾晉軍。當時的風浪很大，很多晉軍的戰船被衝到黃河北岸，士兵落入水中。北魏的騎兵便乘機殺死晉軍。當晉軍上岸去追時，北魏的騎兵就不戰而逃。就這樣，晉軍將士們被搞得暈頭轉向，不知如何是好。
劉裕非常氣憤，想要狠狠地打擊一下北魏騎兵的囂張氣焰。他思索良久，終於想出了一個好主意。劉裕把一名將軍叫到身邊，對他耳語了幾句。過了不久，那名將軍就帶領一百輛兵車和七百名士登上黃河北岸，沿著河岸擺出一個怪陣。這個陣是半圓形的，中間鼓出來，兩頭緊靠河岸，有兩名士兵埋伏在陣中，一根白色的羽毛高高地插在當中的一輛兵車上。劉裕根據這個陣勢與一輪新月相似的特點，把它稱作「卻月陣」。
北魏的騎兵從來也沒有看到過這種怪陣，所以都不敢輕舉妄動。就在這時，有人將位於陣中間的兵車上的白色羽毛舉了起來，隨後兩千名士兵帶著一百張大弓登上了兵車。北魏騎兵覺得這種陣勢是在故弄玄虛，所以就一齊向晉軍陣地衝了過來。晉軍一百輛兵車上的士兵拉弓射箭，將衝在最前面的北魏騎兵射死。但是，北魏的騎兵實在太多，這一百張弓根本就射不過來。就在北魏騎兵如同潮水一般湧向晉軍陣地的時候，晉軍早就在卻月陣後面佈置好了長約三四尺、極其鋒利的長矛，裝在大弓上。北魏軍只顧著向前衝，晉軍士兵拿起大鐵錘，奮力向大弓敲去，大弓上的長矛便如流星一般向北魏的騎兵飛去，一下子就將好幾千北魏騎兵射死。沖在後面的北魏騎兵看到這個陣如此厲害，全都被嚇破了膽，奔向四處逃命。晉軍窮追猛打，很多北魏騎兵被殺死。
劉裕利用卻月陣給予北魏騎兵沉重打擊，黃河西進的通道被打通，劉裕的水軍可以非常順利地向西前進了。此後，檀道濟和王鎮惡帶領步兵與劉裕在潼關會合，晉軍聲勢大陣，很快就攻下了長安，將後秦消滅。
公元419年，晉安帝去世，晉恭帝即位。劉裕認為稱帝的時機已經成熟，便逼迫晉恭帝把皇位讓給自己。公元420年，劉裕稱帝，改國號為宋，東晉王朝正式宣告滅亡。