劉牢之，字道堅，彭城人。曾祖父劉羲，奉侍晉武帝，以善射著稱，做過北地、雁門太守。父親劉建，有武將的才幹，官至征虜將軍，以勇猛雄壯著稱。劉牢之面色紫赤，鬍鬚與雙目生得奇異，望之驚人，而且深沉剛毅，足智多謀。太元初年(376)，謝玄鎮守廣陵，當時前秦苻堅力量強大，謝玄招募勇壯威猛之士，劉牢之與東海人何謙、琅王牙人諸葛侃、樂安人高衡、東平人劉軌、西河人田洛以及晉陵人孫無終等響應招募，以勇猛被選中。謝玄任命劉牢之為參軍，率精銳之師作前鋒，百戰百勝，號稱「北府兵」，使敵人望而生畏。苻堅部將句難率兵南侵，謝玄率何謙等迎戰。劉牢之在盱眙一帶奪取句難的輜重及運輸船隻，以功升為鷹揚將軍、廣陵相。
車騎將軍桓沖攻打襄陽，宣城內史胡彬率部進軍壽陽，以策應桓沖。劉牢之率兩千士卒，作為胡彬的後續部隊。淮淝之戰中，苻堅派他的弟弟苻融及勇將張蠔攻克壽陽，謝玄派胡彬與劉牢之阻擊苻融、張蠔。軍隊駐紮在硤石，不敢貿然前進。苻堅部將梁成又率二萬兵馬進駐洛澗，謝玄派劉牢之率五千精兵抗拒梁成。與敵軍相距十里，梁成沿澗列陣，以為險阻。劉牢之帶領參軍劉襲、諸葛求等率部徑直渡過澗水，臨陣斬殺梁成及其弟梁雲等，又派兵截斷敵人回撤的渡口，敵軍步兵騎兵全線崩潰，爭渡淮水，被劉牢之斬殺俘獲萬餘人，繳獲全部器械。苻堅不久也遭到慘敗，逃回長安，餘部紛紛集結退守城池。劉牢之又進軍攻佔了譙郡，派安豐太守戴寶率兵鎮守。劉牢之晉陞為龍驤將軍、彭城內史，因戰功卓著而賜封武岡縣男，食邑五百戶。劉牢之進駐鄄城，征討那些還未降服的敵寇，黃河以南的城堡武裝望風歸順劉牢之的很多。
其時苻堅之子苻丕據守鄴城，為後燕王慕容垂所威逼，苻丕請求歸降東晉，劉牢之領兵接應苻丕。慕容垂聽說晉軍來救苻丕，便從新城往北撤離。劉牢之與沛郡太守田次之率部追趕，行軍兩百里，到了五橋澤，士卒爭搶輜重，陣容逐漸混亂，慕容垂乘勢攻擊，劉牢之大敗，幾乎全軍覆沒。劉牢之躍馬跳過五丈澗，得以脫險。遇上苻丕的救兵，一起進入臨漳，召集戰敗失散的士卒，兵威士氣稍有振作。劉牢之因戰敗被召回。不久，又賜封龍驤將軍，鎮守淮陰城。後戍守彭城，又兼任太守之職。逆賊劉黎在皇丘稱帝，劉牢之率兵消滅了劉黎。苻堅部將張遇派兵攻克金鄉，圍困太山太守羊邁，劉牢之派參軍向欽之擊退張遇，慕容垂的叛將翟釗接應張遇，劉牢之引兵返回。翟釗退兵，劉牢之乘機佔領太山，追擊翟釗至鄄城，翟釗兵敗逃往河北，於是劉牢之俘虜張遇回到彭城。逆賊司馬徽在馬頭山聚眾反抗東晉，劉牢之派參軍竺朗之消滅了司馬徽。後燕慕容氏攻打廩丘，高平太守徐含遠頻頻告急，劉牢之無力救援，以怯弱畏敵被罷官。
王恭起兵討伐王國寶時，起用劉牢之為府司馬，兼任南彭城內史，加封輔國將軍。王恭派劉牢之擊敗王貵，讓劉牢之兼任晉陵太守。王恭自以為門第高貴，才能超拔，因而傲物凌人。當討伐王國寶的檄文傳至京都，朝廷誅殺王國寶、王緒後，王恭自以為功德威望大顯天下，雖然依仗劉牢之的力量打敗了王國寶，但不過只把他當作一個行陣打仗的武夫而已，待他很薄。劉牢之自負有才，心中怨恨。當王恭起兵叛亂時，司馬元顯派廬江太守高素遊說劉牢之倒戈，事成後，許他代替王恭的官職封號，劉牢之答應了。王恭的參軍何澹之將這一密謀告訴了王恭。因為劉牢之與何澹之有矛盾，所以王恭懷疑何澹之所言的真實性而不予採納。王恭置辦酒席，盛情款待劉牢之，拜劉牢之為兄長，精兵利器都配給他，讓他做前鋒。行至竹裡，劉牢之背叛王恭，歸順朝廷。王恭死後，劉牢之代替王恭接管兗州、青州、冀州、幽州、并州、徐州、揚州及晉陵的軍事。劉牢之本是個低級將領，一下子佔據了王恭的顯赫職位，眾人不能心悅誠服，劉牢之便重用心腹徐謙之等人以加強自己的勢力。其時，楊全期、桓玄率部威逼京師，上表為王恭申辯，請求朝廷誅殺劉牢之。劉牢之率北府兵急行軍奔赴京師，駐紮在新亭一帶。桓玄等人接受詔令從京師退兵，劉牢之回兵鎮守京口。
孫恩攻陷會稽城，劉牢之派部將桓寶率兵援救三吳，又派兒子劉敬宣率部作桓寶的後續軍。救兵到了曲阿，吳郡內史桓謙已棄城逃走，劉牢之便統率大軍東征，上奏朝廷，即刻進軍，到吳地，與衛將軍謝琰聯合攻擊孫恩，屢戰屢勝，殺傷許多孫恩的軍士，一直打到了浙江。劉牢之因功被封為前將軍、都督吳郡諸軍事。當時謝琰駐紮烏程，派司馬高素配合劉牢之作戰。劉牢之率大軍渡浙江，孫恩畏懼，率部逃到海上。劉牢之回師鎮守京口，孫恩又乘機攻佔會稽，殺害衛將軍謝琰。劉牢之晉封鎮北將軍、都督會稽五郡，再次率部東征，進駐上虞，派兵戍守諸縣城池。孫恩攻克吳國，誅殺吳國內史袁山松。劉牢之派參軍劉裕討伐孫恩，孫恩率部退回海上。不久，孫恩浮海突然到京口，戰士十餘萬，樓船千餘艘，軍容強盛。劉牢之在山陰，派劉裕領兵從海鹽堵截孫恩，劉牢之自率大軍援救京口。劉裕所部兵力不足千人，與孫恩交戰，擊潰孫恩。孫恩聽說劉牢之已回京口，便率部逃向郁洲，又被劉敬宣、劉裕等人打敗。孫恩戰敗自殺後，劉牢之聲威大顯。
元興初年(402)，朝廷打算討伐擁兵叛亂的桓玄，任命劉牢之為前鋒都督、征西將軍，兼任江州刺史。司馬元顯派遣使者同劉牢之商議討伐桓玄的有關事宜。劉牢之因為桓玄從小享有英名，如今又憑仗全楚之眾，擔心制伏不了他，又考慮到消滅桓玄之後功蓋天下，司馬元顯一定不會容忍自己，於是猶豫不決，不得已率北府文武將士進駐洌洲。桓玄派何穆勸阻劉牢之說：「自古至今，戰亂時代，君臣之間彼此相互信任的只有燕昭王與樂毅、劉玄德與孔明，但都是功業未成而明君早逝，假如功成名就，恐怕難保大禍不臨頭。常言道：『高鳥盡，良弓藏；狡兔死，獵狗烹；敵國破，謀臣亡。』所以勾踐殺文種，秦王除白起，漢高祖斬韓信。他們都是英雄霸王之主，尚且不相信手下的功臣大將，更何況那些凶殘愚昧、平庸無能之輩呢！自盤古開天地以來，擁有足以使君主震動的聲威，建立無法封賞的大功，而能被昏暴君王所寬容的又有誰呢？相反，管仲箭射齊王衣鉤反被齊王重用，雍齒多次威逼漢高祖反而受到漢高祖的厚封，這一類事是常有的，何況足下與桓公之間無射鉤屢逼之仇呢！如今足下與桓公為敵，戰敗了將會遭到滅族之災，戰勝了同樣會遭到滅族之災，出路在哪裡呢？與其頭足異地，身敗名裂，為天下俗人所恥笑，不如調轉戈矛，保住自己的富貴，這樣就可以使自身高位固若金石，英雄美名如天長地久。何去何從，請足下三思。」劉牢之自以為手握重兵，才能智謀足以統轄江南大地。其時譙王司馬尚之已被桓玄打敗，使得士氣低落，軍心沮喪，於是劉牢之接受何穆的勸說，派遣使者與桓玄連絡。劉牢之的外甥何無忌與部將劉裕極力勸阻劉牢之，劉牢之一概聽不進。不久，劉牢之令兒子劉敬宣投降桓玄。桓玄大喜，設筵宴款待劉敬宣，而暗中設計殺害他，桓玄陳列大批名人大家的書法畫圖，與劉敬宣一同觀賞。劉敬宣絲毫沒有察覺到桓玄的陰謀用心，桓玄手下的將佐官吏無不相視而笑。
司馬元顯失敗後，桓玄任命劉牢之為征東將軍、會稽太守，劉牢之長歎道：「才剛剛開始而已，便削奪我的兵權，不久以後，大禍將會降臨了！」其時，桓玄住在丞相府，劉敬宣勸劉牢之襲擊桓玄，劉牢之猶豫不決，移兵駐紮班瀆，打算向北投靠廣陵相高雅之，佔據長江以北廣大地區來對抗桓玄，召集眾將領商議決策。參軍劉襲道：「事情不能做的莫過於反叛，而將軍早年反王恭，不久以前反司馬元顯，如今又打算反桓公。一個人一生當中三次反叛，怎能夠立足於天地之間呢！」說罷，起身揚長而去。劉牢之手下將佐紛紛離開劉牢之，而劉敬宣在此之前返回京口轉移家室，超過預定的期限，仍不見蹤影。劉牢之以為被劉襲殺害，便心灰意冷，上吊而死。不久，劉敬宣返回，來不及吊哭安葬劉牢之，便急忙投奔高雅之。劉牢之手下的將佐官吏代為操辦喪事，並將劉牢之歸葬丹徒。桓玄下令開棺斬首，將屍體暴露在街市上示眾。後來劉裕打敗了稱帝的桓玄，恢復東晉王朝，替劉牢之申辯，朝廷便恢復了劉牢之的職位和封號。