西晉末年，「八王之亂」爆發，羯族石勒和匈奴族劉聰利用這個機會進攻中原，使得中國北方陷入到四分五裂的境地之中。祖逖憂國憂民，與好友劉琨一起發奮讀書，希望有朝一日能夠北伐恢復中原。
公元311年，洛陽被劉曜攻陷，晉懷帝成了俘虜，中原各處戰火紛飛，中原的百姓為了躲避戰爭，紛紛向南遷移。祖逖想要去戰場上奮勇殺敵，但沒有掌握兵權，所以無法抵禦敵人的入侵。於是，他便帶著家屬與鄉親們一起到南方躲避災禍。一路之上，他非常熱心地照顧別人，主動維持秩序，看到年老體弱的人，就主動把自己的馬讓給出來，看到有困難的百姓，他又把自己的衣服、糧食、藥物拿出來與此眾人分享。由於祖逖一路上為大家提供了很多幫助，而且很有謀略，所以大家一致推舉他擔任「行主」，也就是逃難隊伍的首領。祖逖帶著這支逃難的隊伍，順利地來到了京口（今江蘇鎮江），並在那裡安定下來。雖然逃到了南方，但是祖逖抵禦外族入侵，恢復中原的志向從未改變過。為了能夠在時機成熟時恢復中原，他挑選出難民中的青壯年，把他們組織在一起練武。祖逖的這個舉動使得附近從北方逃到南方的難民紛紛投靠他，一些想要恢復中原的愛國人士紛紛參加他的部隊。於是，他手下的士兵越來越多，很快就達到了幾百人。琅邪王司馬睿看到祖逖的勢力不斷壯大後，便拉攏他，把他封為軍咨祭酒。身在江南的祖逖時刻不忘中原，上任不久後就多次向司馬睿請求揮師北伐，卻始終沒有得到回應。
清明節時，王導對東晉很多南渡的官員提到了恢復中原一事，這讓那些官員深有感觸。他們紛紛向晉元帝上書，請求晉元帝出兵北伐。祖逖知道這件事後非常高興，他趕到建康，與其他南渡官員一起向晉元帝請戰。
祖逖在給司馬睿的奏折中寫道：「八王」之亂給了胡人以可乘之機，讓他們奪得了中原。現在，北方的百姓正處在水深火熱之中，他們都想要趕走胡人，恢復中原。因此，只要皇上能夠下旨北伐，我們這些人願意馬上帶領兵將向中原挺進，北方的百姓也一定會配合我們，與我們並肩作戰，一起消滅胡人。那樣的話，恢復中原的目標很快就能實現。
晉元帝只希望在江南安安穩穩地當皇帝，並沒有收復中原的志向。況且，東晉政權又剛剛建立起來，如果貿然出兵，會消耗國力，以敵人以可乘之機，因此，他總是採取拖延的方式，不理睬祖逖等人。
雖然多次上書沒有收到成效，但是祖逖北伐恢復中原的決心從來沒有動搖過。他繼續向晉元帝上書。晉元帝看到祖逖一而再再而三地上書，而且態度非常誠懇，就採用敷衍的辦法，把他封為奮威將軍、豫州刺史。晉元帝雖然封了祖逖官職，但並沒有撥給他武器和人馬，只象徵性地給了他三千匹布和一千人的口糧。
祖逖非常重視這個有名無實的職位，他領到聖旨後立即由建康返回京口。那裡的百姓得知祖逖要北伐的消息後，紛紛前去投靠他。祖逖對這些人進行收編、整頓，他的部隊一下子從幾百人擴大到數千人。不久後，他又購買了十幾條大船，為北伐做好了準備。
公元313年秋，祖逖率領自己組織起來的部隊，橫渡長江北上。京口的百姓紛紛趕到江邊為他們送行。祖逖已經五十多歲了，但是仍然精力充沛。他穿著戰袍，佩帶著寶劍，站在戰船上向百姓們道別。隨著戰船向前行駛，岸上的百姓不斷地向後退去。當船行駛到江心的時候，祖逖看著不斷向前奔流的江水，心情非常激動。他走到船頭，抬頭仰望蒼天，手裡拿著木槳，不停地敲打著船舷，非常悲壯地說：「父老鄉親們，我們一定要收復中原。如果無法實現這個目標，下次回來的時候，我必將投入江中。」聽到祖逖的慷慨陳辭，出征的將士們都非常激動，每一個人都充滿了鬥志。他們回答說：「我們願追隨將軍，就算身首異處也在所不辭。」
祖逖帶領著手下人馬，成功地渡過了長江，在淮陰駐紮下來。之後，他開始招兵買馬，鑄造兵器，開展軍事訓練。當地的百姓都非常支持他。沒過多久，祖逖就招募到一支兩千人的隊伍。經過一系列精心準備之後，他正式開始率領將士們北伐。
祖逖率領部隊不斷向前挺進，沿途的百姓熱烈地擁護他們，支持他們。祖逖率領部隊打了幾個大勝仗，數萬敵寇被消滅，黃河以南的很多土地被奪回。
當時長江以北的很多地區，存在著很多地主豪強的武裝，這些地主豪強設立塢堡，割據一方。他們有的割據自守，有的聯胡反晉，有的與晉朝一起反對胡人，彼此之間為了爭奪地盤，經常展開激烈的鬥爭。祖逖認為，如果把這些人拉攏過來，讓他們與自己一起北伐，那麼北伐的力量將會得到壯大。為此，他把那些地主請到自己的軍營裡，對他們說：「現在胡人侵略我們的領土，國家處於生死存亡之際。如果我們不停地進行內鬥，那麼無異於民族的罪人。為了一起把胡人趕出我們的國土，我們應該聯合起來，為國效力。這才是英雄豪傑應該做的事。」祖逖的一席話說得那些人深受感動，因此便捐棄前嫌，一起支持祖逖北伐。祖逖得到他們的支持後，威望越來越高，部隊人數也越來越多，幾乎每次打仗都能取勝。
公元319年，蓬陂（今河南開封附近）塢堡主陳川與入侵的後趙國主石勒的手下桃豹相勾結，組織五萬精兵，企圖阻止祖逖的軍隊向北挺進。雙方在蓬陂展開了決戰。兩軍交戰四十多天仍然未分勝負，雙方的軍糧都不足以繼續支撐下去。在這個危急時刻，祖逖想出來一個非常好的計策。他派一千多兵士兵，扛著裝滿泥土的布袋送到晉軍大營。之後，他又派幾個士兵扛著幾袋大米，故意停在半路上休息。桃豹在軍營裡看到那幾個士兵後，立即派人出去搶米。那幾個運米的士兵看到敵軍後，丟下米袋就逃走了。桃豹的士兵已經餓了好幾天，看到米後都非常激動，在米還沒有煮熟的時候就狼吞虎嚥地吃了起來。桃豹將晉軍運到軍營的泥土當成了大米，想到晉軍有著充足的糧食，而自己面臨著斷糧的危機，心裡非常不舒服。於是，他派士兵去向石勒要糧。石勒收到消息後，立即下令接濟桃豹。祖逖料到石勒會這樣做，就在路上設下埋伏，搶了後趙的糧食。桃豹的部隊沒有糧食，再也無法繼續支持下去，便率領部隊連夜逃走了。祖逖乘勝追擊，收復了幾座被敵人佔領的城池。此後幾年，祖逖又率領部隊打敗後趙軍隊，把敵人趕出了黃河以南地區。
祖逖雖然是軍事統帥，但是他在作戰過程中往往能夠身先士卒，奮勇當先。北伐軍在他的率領下，作戰都非常英勇。此外，這支軍隊軍紀嚴明，還經常幫助家園被毀的百姓耕作，使得百姓非常愛戴這支部隊。
正當祖逖厲兵秣馬，準備繼續進軍，收復整個中原的時候，司馬睿卻妒賢嫉能，害怕祖逖勢力過太，不受自己控制，便想出了牽制祖逖的辦法。司馬睿派自己的親信戴淵管理北方六州的軍事，剝奪了祖逖手中的軍權。祖逖為國家盡心盡力，卻換來這樣的結局，心裡很不痛快。不久後，好友劉琨被朝廷害死的消息傳來。祖逖心情抑鬱，再加上勞累過度，終於病倒了。在病中，他仍然沒有忘記黃河沿岸的防務，為了防止石勒派人襲擊，他還親自派人去修築工事。
公元321年，壯志未酬的祖逖抑鬱而終。