檀道濟，是高平金鄉縣人，世代居住在京口。少年時成為孤兒，守喪禮儀齊備，事奉哥哥姐姐以謙和恭謹見稱。宋武帝樹立義旗，道濟與兄長檀韶、檀祗等隨從平定京城，一同在武帝建武將軍府中參謀軍事。逐漸陞遷為太尉參軍，被封為作唐縣男。
義熙十二年(416)，武帝北伐，檀道濟為前鋒，所到之處望風降服。徑直開進洛陽，一些人認為所抓獲的俘虜應該全部殺掉，以作為京城的一大壯觀。檀道濟說：「討伐罪人，慰撫民眾，正在今天。」把俘虜全部釋放送走。由此中原人感戴歡悅，歸附的人十分眾多。長安平定後，任命他為琅笽內史。
宋武帝承受天命，由於他輔佐登基的功勞，改封為永修縣公，位居丹陽尹、護軍將軍。武帝生病，給他配備了儀仗二十人。後來出京擔任鎮北將軍、南兗州刺史。徐羨之等人謀劃廢立皇帝，婉言勸說檀道濟入朝，告訴他說將要廢黜廬陵王劉義真，檀道濟屢次述說不可以這樣做，到底沒有被採納。即將廢黜皇帝的那天夜裡，檀道濟到了領軍府，在謝晦那裡住宿，謝晦惶恐喘息不能入睡。而檀道濟倒下便睡熟了，謝晦由此對他十分佩服。
文帝即位，配給他樂隊一部，晉封為武陵郡公。他堅持推辭。檀道濟平時與王弘要好，當時王弘受皇帝知遇正深，檀道濟更加拉攏攀附，經常連通徐羨之等人，王弘也非常依靠他。皇帝將要誅殺徐羨之等人，召見檀道濟，想讓他率兵西討。王華說：「不能這樣。」皇上說：「道濟是跟從別人的，過去都不是他出的主意，慰撫而任用他，一定用不著擔心。」檀道濟來到的第二天，皇上殺死了徐羨之、傅亮。隨後派檀道濟和中領軍到彥之為前驅進行西伐，皇上向檀道濟詢問策略。回答說：「我過去與謝晦一同隨從北征，入關的策略若是十條，謝晦所出的就要佔其中的九條。他的才能謀略精明幹練，幾乎難以敵對；然而不曾孤軍決勝，打仗恐怕不是他的優長。我熟悉謝晦的智謀，謝晦熟悉我的勇氣。現在奉了皇上的命令外出征討，必定是不待列陣就把他捉住。」當時謝晦本以為檀道濟會與徐羨之一同被殺，忽然聽說率軍殺來，於是不戰自潰。事情平定後，改任他為征南大將軍、開府儀同三司、江州刺史。
元嘉八年(431)，到彥之侵入魏國，已經平定了黃河以南，後來又喪失了它。檀道濟擔任征討軍隊的總指揮，向北攻佔地盤，轉戰到了濟水上，魏軍強盛，於是攻克了滑台。檀道濟當時與魏軍打了三十多仗，大多數戰勝，進軍到歷城，因為運輸物資用盡而返回。當時投降魏國的人詳細說明糧食已經吃光，因此士卒憂慮恐懼，都沒有了堅強的鬥志。檀道濟趁夜間喊報時辰，聚量沙土，用所餘下的少量米撒在上面。到了早晨，魏軍認為儲備的糧食有餘，所以不再追趕，以為投降的人是胡說，斬首抵罪。
當時檀道濟兵少力弱，軍中十分恐懼。檀道濟就命令軍士全都披掛盔甲，外穿白衣服，坐著車子慢慢地出去到外面走動。魏軍恐怕有埋伏，不敢逼近，於是他便回來了。檀道濟雖然沒有平定黃河以南地區，但是保全了軍隊安然返回，雄武的名聲大振。魏軍對他十分害怕，畫他的像用來祛除惡鬼。歸來以後，晉陞為司空，鎮守襄陽。
道濟立功於前朝，威名很大，左右的心腹都身經百戰，他的各個兒子又都很有才氣，因而朝廷對他心存畏懼和懷疑。當時也有人這樣看他，說：「怎麼能知道他不是司馬仲達呢？」
宋文帝臥病多年，多次遇到危險，領軍劉湛貪圖執掌朝政，恐怕檀道濟有不同說法，又彭城王劉義康也害怕皇帝去世，檀道濟不再可以控制。元嘉十二年(435)，皇上病重，正遇上魏軍南伐，召檀道濟入朝。他的妻子向氏說：「功勳高於世人，這是道家的忌諱，現在無事而相召見，該是災禍到了。」等趕到那裡，皇上已經痊癒。十三年春，即將派他返回原鎮，走到水邊還沒出發，有一群好似鷦鷯的鳥聚集在船上悲哀地鳴叫。正遇上皇帝疾病發作，劉義康偽造詔書召檀道濟入宮，說是為他餞行，將他抓住交給廷尉，他和他的兒子給事黃門侍郎檀植、司徒從事中郎檀粲、太子舍人檀混、征北主簿檀承伯、秘書郎中檀尊等八人一齊被殺。當時的人們唱道：「可憐《白浮鳩》，枉殺檀江州。」檀道濟死的那天，建鄴地震，有白毛生長。又殺死了司空參軍薛肜、高進之，都是檀道濟的心腹。
檀道濟被捕之後，十分憤怒，氣勢極盛，目光如同火炬，頃刻間拿酒來喝了一斛。然後脫下頭巾扔在地下，說：「竟然毀掉你們的萬里長城！」魏國人聽了這個消息，都說「檀道濟已經死去，吳地的小輩們不值得再害怕了。」從此連年南下攻伐，有飲馬長江的志向。
文帝問殷景仁說：「誰可以繼承道濟？」回答說：「道濟是因為屢建戰功，所以才樹立起威名，其餘的人只是沒有被任用罷了。」文帝說：「並不是這樣的，過去有李廣在朝中，匈奴不敢向南侵犯，而後繼者又有幾人呢？」元嘉二十七年(450)，魏軍到達瓜步，文帝登上石頭城遠望，臉色非常憂愁。慨歎道：「如果有道濟在世，那會弄到這種地步！」