祖逖字士稚，范陽遒縣人。家中代代為官吏，食祿二千石，為北方幽州之地的名門顯族。父親祖武，任過晉王掾、上谷太守。祖逖少年時父親去世，兄弟共有六人。其兄祖該、祖納都性格豪放開朗而有才幹。祖逖性格豪爽倜儻，不注重修飾儀表，不拘細節，十四、五歲時還不知道用心讀書，他的兄長都為之擔憂。然而祖逖輕視財物好行俠仗義，慷慨大方具有節操風範，每到田莊，則以兄長的名義拿出糧食布帛散給貧困之人以救濟他們，鄉中父老族中宗親因此特別看重他。長大後博覽經史群書，通曉古今事理，常到京師活動，見過他的人都說他具有輔佐君王治理天下的才能。僑居到陽平縣，陽平的地方官選拔他為孝廉，有關部門又推舉他為秀才，他都沒有接受。祖逖與司空劉琨同時擔任司州主簿，兩人關係非常親密，晚上同榻共被而眠。半夜時分聽到荒野外雞鳴之聲，祖逖將劉琨推醒後說：「這不是惡聲啊。」於是二人起舞。祖逖、劉琨都有英邁之氣度，每談及天下之事，常半夜披衣起坐，相互勉勵說：「要是四海鼎沸天下有事，四方豪傑並起，我們率兵在中原相遇，應該互相退讓一步啊。」
祖逖曾被齊王司馬礒征闢為大司馬掾，被長沙王司馬砬任為驃騎祭酒，轉為主簿，累遷太子中舍人、豫章王從事中郎。跟隨惠帝北伐，朝廷軍隊在蕩陰遭到失敗，於是他退還到了洛陽。惠帝大駕西幸長安後，關東諸侯范陽王司馬九虎、高密王司馬略、平昌公司馬模等競相召納，他都沒有應允。東海王司馬越任命祖逖為典兵參軍、濟陰太守，因母喪而未能就任。
後來京師大動亂，祖逖帶著宗族親戚數百家逃往淮水、泗水一帶避難，以他自己的車馬運載同行的老弱病殘之人，自己和大家一起徒步行走，所帶衣服糧食藥品和大家分享，又加上能謀劃佈置，所以不管老少都服從他的安排，推舉他為一行人的頭領。到達泗口時，元帝迎之而任他為徐州刺史，接著又任為軍諮祭酒，停留在丹徒縣的京口。
祖逖看到社稷傾覆，山河淪喪，常懷振興朝廷、恢復故土的壯志。他所收募的賓客義士多是一些剛烈忠勇的猛士，祖逖對他們就如同對待自己的兄弟子女一樣。當時揚州地面正鬧大饑荒，這些門客時常去打劫富豪之家，祖逖安撫勸慰性地問道：「你們又到南塘外面跑了一趟嗎？」若有人被當地差吏抓獲，祖逖則想辦法把他們救回來。好議論的人就因此說他的壞話，他卻像沒事一樣。當時皇帝剛剛在江南站穩腳跟，顧不上北伐，祖逖向皇帝進言道：「晉王室的動亂，並非是君王無道導致下面的叛亂，而是由於諸藩王爭奪權利，自相誅殺，遂使北方的夷狄有了可乘之機，致使他們得以橫行中原。現在遺留在中原的百姓備受欺凌，人人都有奮擊抗敵之志。若君王能興發國威，詔命諸將，讓如祖逖我這樣的人為統領，則各郡國的豪傑必定風從前往，那些沉溺於悲觀失望中的人也會振奮甦醒過來，復國雪恥就有了希望，願大王勉力圖之。」元帝便任命祖逖為奮威將軍，領豫州刺史，給一千人的糧米，布三千匹，但不發鎧甲兵器，讓他自己籌集。於是祖逖帶領著當年一起流徙江南的部曲莊戶百餘家渡江北上，船到江中，以楫擊水而發誓說：「祖逖如果不能恢復中原而又再次渡江，就如同這江水。」嚴辭正色，悲壯激昂，大家都為之慨歎。過江後屯於江陰，開始冶鑄兵器，招募到兩千人後繼續北上。
當初，北中郎將劉演防禦石勒，流浪人所聚集的塢寨首領張平、樊雅等都在譙郡一帶，劉演任張平為豫州刺史，樊雅為譙郡太守。又有董瞻、於武、謝浮等十幾支隊伍，各自擁有數百士卒，都統屬張平率領。祖逖說服謝浮，讓他消滅張平。謝浮謊稱要與張平會見，終於殺了張平獻給祖逖。元帝為了嘉獎祖逖的功績，派人運送軍糧給他，但由於路途遙遠，糧食未到而軍中已開始挨餓了。再進兵佔據了太丘。樊雅派部下夜晚偷襲祖逖，攻進了營壘之中，他們手持劍戟大聲呼叫，直衝向祖逖的幕帳，士卒們一時大亂。祖逖命令左右之人抵抗著敵人的衝擊，督護董昭與賊苦戰，敵人退走了。祖逖又率眾乘勝追殺，這時張平的殘部趕來幫助樊雅向祖逖進攻。蓬陂塢寨的頭領陳川，自己封號為寧朔將軍、陳留太守。祖逖派使者向陳川求救，陳川派部將李頭領兵趕到相援，祖逖於是攻克了譙城。
當初，樊雅佔據著譙城，祖逖因力量單薄，向南中郎將王含請求支援，王含派遣桓宣領兵前來援助。祖逖攻克了譙城，桓宣這才返回。石季龍知道了這個情況，就領兵包圍了譙城，王含再派桓宣援救祖逖，石季龍聽說桓宣趕來了就連忙退走了。桓宣於是就留了下來，幫助祖逖討伐那些尚未歸附的各地塢寨之主。
陳川的部將李頭在討伐樊雅的戰鬥中，奮力作戰立有功勳。祖逖當時繳獲了樊雅的駿馬，李頭非常喜歡這匹駿馬，但不敢對祖逖說，祖逖知道了李頭的心願，就把這匹馬送給了他。李頭很感激祖逖的恩遇，常常感歎地說：「要是能夠得這樣的人為主，我就是死也無遺恨。」陳川聽說了非常憤怒，就把李頭給殺了。李頭的親信黨羽馮寵率領自己的部下四百人投奔了祖逖，陳川於是更加氣憤，派遣部將魏碩在豫州諸郡大肆搶劫，掠獲了大量的子女車馬。祖逖派遣將軍衛策在谷水伏擊魏碩，截獲了他們搶掠的人口車馬和財物，讓這些被搶的人各自回家，部隊什麼東西都不要。陳川心裡非常害怕，於是率領部下投降了石勒。祖逖率領各部討伐陳川，石季龍領兵五萬前來援救陳川，祖逖設下埋伏以計取之，石季龍被打得大敗，收兵在豫州搶劫了一番，將陳川遷移到襄國駐守，留下桃豹等人守陳川的故城，他們都駐紮在西台。祖逖派遣部將韓潛等駐兵東台。同在這一座城中，賊兵出入放牧皆走南門，祖逖的軍隊卻從東門出入，雙方相峙了四旬之久。祖逖用布袋裝滿土，好像是裝糧的米袋一樣，讓一千多人搬運到台上，又安排一些人擔米，假裝很疲勞的樣子在路上歇著，敵兵果然追趕上來，這些挑米的士兵都丟下擔子逃走了。敵人奪到了這些米，以為祖逖的糧食很多，士兵都能吃飽，可他們自己吃不飽飯已經很久了，心中更加膽怯，已沒有什麼鬥志了。石勒部將劉夜堂用上千頭驢運糧給桃豹，祖逖派韓潛、馮鐵等人追趕到汴水，把這些糧米都繳獲了，桃豹連夜撤走，退到東燕城據守，祖逖派韓潛前進到封丘逼近他的營壘。馮鐵佔據東、西二台，祖逖坐鎮雍丘，數次派兵擊截石勒，石勒的防地日漸縮小。偵察人員經常捉到一些濮陽人，祖逖都以禮相待放他們回家，這些人感激祖逖的恩德，率領鄉中五百多家投奔祖逖。石勒又遣精兵萬人來進攻祖逖，也被祖逖打敗，石勒控制下的部落歸順祖逖的很多。當時趙固、上官巳、李矩、郭默等人各憑借略謀和軍事實力相互攻擊，祖逖派遣使者勸說，使各方和解，將戰與和的禍福結局明白的告訴他們，於是他們都接受祖逖的節度調遣。祖逖愛惜人才禮賢下士，就是那些沒有深交身份卑賤的人，也恩禮待之，這樣一來黃河以南的土地又都歸屬於晉朝。沿河堡主中凡有子在胡營中為質者，都允許他們兩邊應付，時常派遣遊軍假裝攻打一下，以向敵人明示這些堡寨並未歸附。這些堡主感激不盡，敵人有什麼密謀，他們悄悄給祖逖通報。祖逖先後取勝，都是由於這個原因。部下哪怕只有一點小寶，賞賜也不拖到第二天。他自己勤躬節儉，鼓勵人民勤於農桑，嚴格要求自己，不積蓄家財，家中子弟親自耕種，挑擔打柴，又收葬露於野外的屍骨，並為之祭奠，百姓們感戴恩德。他曾經置酒邀請父老，父老們在席上感慨流涕說：「我輩老了，沒想到再次得到父母般的關懷，死也無恨了。」於是唱道：「幸運呵，我們這些留下的百姓沒做俘虜，日、月、星三辰朗照啊，我們又遇到了慈父。玄酒使人忘卻了憂勞啊，果蔬珍餚是這樣的甘甜，如何感激你的恩情啊，我們且歌且舞。」祖逖就是這樣深得人心。因此劉琨在給親朋故舊的書信中，極力讚頌祖逖的威望德行。朝廷下詔任祖逖為鎮西將軍。
石勒不敢以兵窺測黃河以南地區，命成皋縣修好祖逖母親之墓，又與祖逖通信，請求互派使者互相貿易。祖逖不予回信，但聽任兩地互通貿易，並獲得了十倍之利，於是公私都增加了收入，部下人馬日益增多。正當祖逖要率師渡河，掃清冀、朔二州的敵寇時，朝廷準備派遣戴若思來為都督。祖逖認為戴若思是吳人，雖然有名望有聲譽，可沒有卓識遠見，何況自己已經掃清了荊棘障礙，收復了河南之地，而戴若思溫文爾雅，一下子就成了統領，所以心中就怏怏不快。又聽說王敦與劉隗產生了矛盾衝突，擔心朝廷會發生內亂，使大功難以實現。心情憤慨激盪生了病，於是將妻子家屬安置到汝南大木山下。當時中原士大夫以及黎民百姓皆議論紛紛，認為祖逖應進兵佔據武牢，現在卻把家眷安置險惡之地，有人予以諫阻，但未被採納。祖逖雖然心內憂鬱氣憤，但並未停止進取，營建修繕武牢城，城北緊靠黃河，西接成皋，四邊開闊可眺望遠方。祖逖擔心城南沒有堅固的屏障，必然會遭到敵人的襲擊，於是派侄子汝南太守祖濟率領汝陽太守張敞、新蔡內史周閎率兵修築堡壘。工程未就，而祖逖身患重病。在這之前，華譚、庚闡問術士戴洋說：「祖豫州九月當死。」當初有妖星出現在豫州分野之中，歷陽陳訓曾對人說：「今年西北大將會死亡。」祖逖也見到了這顆星，他歎息道：「這是為我而來呀，正要平定河北，而老天卻要殺我，這是老天不想幫助國家呀。」不久死於雍丘，終年五十六歲。豫州人民悲傷得如同死了父母一樣，譙梁之地的百姓為祖逖建了祠堂。朝廷冊立追贈為車騎將軍。王敦早就萌生了叛逆之心，因畏懼祖逖而不敢行動，從此就開始肆意妄為了。緊接著就令祖逖之弟祖約接替了職務統率其眾。祖約另有傳。祖逖的兄長是祖納。