劉穆之字道和，小字道人，東莞莒縣人，世代住在京口。開始做琅笽府主簿，曾經夢見和宋武帝在海裡泛舟遇到大風，驚慌地俯視船下，見到有兩條白龍保護著船。隨後到了一座山下，山峰秀麗高聳，心裡十分高興。
後來武帝攻克了京城，向何無忌徵求一名府主簿，何無忌推薦劉穆之。武帝說：「我也認識他。」於是派人馳馬去召他。當時劉穆之聽到京城有叫聲，早晨走到路邊，正好與派來的使者相會，穆之直直地看著，久久沒有說話，然後返回房中，毀掉布裙做成褲子，前去見武帝，武帝對他說：「我剛剛開創正義的大業，急迫地需要一位軍吏，誰是合適的人選？」劉穆之說：「沒有能超過我的。」武帝笑著說：「卿如果能屈尊就任，我的事業就成功了。」於是就在座位上受聘。跟隨平定建鄴，各項大事的處理，都是很快確定，全是劉穆之的建樹，於是便經常受到武帝的咨詢。劉穆之也竭盡忠誠，沒有什麼遺漏。
當時晉朝的法制鬆弛，禁令不能實行，大族豪家，依勢橫行；更加上司馬元顯政令謬誤，桓玄律條繁密。劉穆之根據實際研討對策，隨著地方特點加以矯正，不滿十天，風俗頓改。
調任尚書祠部郎，又重任府主簿、記室、錄事參軍，兼堂邑太守。因為平定桓玄的功勞，封西華縣五等子。等揚州刺史王謐死後，武帝按次序應該入朝輔政。劉毅等人不想讓武帝入輔。提議以中領軍謝混為揚州刺史，有人想讓武帝在丹徒領州，把朝內的事交給孟昶。派尚書右丞皮沈拿這兩種提議去問武帝。皮沈先對劉穆之說了，劉穆之假裝上廁所，便秘密地寫信告訴了武帝，說皮沈的話不可聽從。武帝見了皮沈後，讓他暫且出去，叫來劉穆之詢問。劉穆之說：「您今天怎麼還能謙虛，以致變成守衛藩鎮的軍將呢？劉、孟諸公都是由平民起家，共同創立大業，事情都是一時互相推戴，並不是命中注定的君臣名分。勢均力敵，最終要互相吞併。揚州關係著國家的根本，不可以送給別人。先前授給王謐，事情是出於機變的考慮，現在如果再授給別人，便要受制於別人。一旦失去權柄，便沒有機會再得到了。您功勞高勳業重，不可以只是令人懷疑畏懼，應該是入朝共同弄清同異。您到了京城，他們必定不敢越過您另外授給別人。」武帝聽從了他的話，由此便入朝輔政。
從廣固回來抵抗盧循，他常常在軍幕中策劃。劉毅等人很妒忌他，常常很從容地說他的權力過重，武帝則越發信賴和倚仗他。劉穆之在外面的所見所聞，大小事情一定要報告，即使是街巷中的言談謔笑，也都挑出一兩個來說給他聽。武帝常常說起社會上曲折秘密的消息來顯示耳目靈通，都是從劉穆之那裡來的。他又喜歡與賓客交遊，客人總是滿座，他安排耳目進行觀察和聽取，所以朝野間的人事關係，劉穆之無不知曉。即使是親密朋友的長短之處，他都上奏給武帝，無所保留。有人因此譏笑他，劉穆之說：「我受了主公恩惠，為了大義無所隱晦，這也就是張遼所以要告關羽想叛逃的原因。」
武帝的舉止作為，劉穆之都私下進行規勸，武帝的書法一向很差，劉穆之說：「這雖然是件小事，但卻會傳佈得很遠，希望您再稍加注意。」武帝還是不能留意，他又有責任提醒，劉穆之就說：「您只管放開筆寫大字，一個字一尺見方也不要緊。大就包含了各個方面，筆勢也美觀。」武帝聽從了，一張紙不過寫六七個字就滿了。
劉穆之凡是自己所薦舉的人，不納用便不罷休。他常常說：「我雖然比不上荀令君的舉薦必是善才，但是卻可以不薦不善之才。」劉穆之和朱齡石都善於寫作書信，曾經在武帝那裡和朱齡石一齊寫答覆信，從早晨到中午，劉穆之寫了一百封，朱齡石寫了八十封，而劉穆之的應對沒有廢品。
後來陞遷為中軍、太尉司馬，擔任丹陽尹。武帝向西方去討伐劉毅，讓諸葛長人監管留府，懷疑他難以獨自擔當，留下劉穆之輔助他。擔任建威將軍，設置輔佐官吏，配備給實力。諸葛長人果然有異謀，而猶豫不能起事，便迴避開別人對劉穆之說：「流言紛紜，說太尉和我不和，怎麼會有這樣的議論？」劉穆之說：「太尉溯江遠征，把老母弱子委託給將軍，如果有一點不信任，哪裡能會這樣？」諸葛長人心裡才稍微安定一些，劉穆之也充分加以防備。諸葛長人對他所親近的人說：「貧賤常常想要富貴，富貴必定遇到危機。今天再想做丹徒的百姓，已經無法實現了。」武帝回來，諸葛長人被處死。劉穆之晉陞為前將軍。
武帝西進討伐司馬休之，中軍將軍劉道憐擔當留任，而事無大小，都由劉穆之決定。他陞遷為尚書右僕射，兼管選拔人才，將軍、丹陽尹的職務仍舊不變。武帝北伐，留下世子為中軍將軍、監太尉留府。調劉穆之擔任左僕射、兼任監軍中軍二府軍司，將軍、丹陽尹、主管選舉依舊保留，可以帶衛士五十人進殿，進入東城居住。
劉穆之對內總理朝政，對外供應軍隊需求，決斷如流，事情毫無阻塞。賓客聚集，求訴極多，朝內外的咨詢稟報，台階房內人都站滿。眼看訟詞，手答來信，耳聽訴說，口作應酬，不相混淆，都能做好。又言談歡笑，整天到晚，不曾疲倦困苦。剛有點閒暇，又動手寫書，翻看文章，校訂古籍。他性格奢侈豪華，吃飯必須十分豐盛，早晨就要做十個人的飯，不曾一個人單獨吃。每到吃飯的時候，客人如果只在十人以內，帳中仍然依照平時做飯，以此為平常。他曾對武帝說：「穆之家本來貧賤，養生的東西大多缺乏，任職以來，雖然常常注意節約，而每天所需用的東西，稍微有些過於豐盛，此外沒有絲毫辜負您的地方。」
義熙十三年(417)去世。武帝住在長安，本來打算駐紮在關中，經營趙、魏一帶，聞訊以後，十分驚訝和悲痛，哀痛惋惜了好幾天。因為身體虛弱，便回到了彭城。讓司馬徐羨之代管留台，而常常由劉穆之決定的朝廷大事，全都向北府咨詢，劉穆之的前軍府有文武二萬人，以三千人配給徐羨之的建威府，其餘的都配給世子的中軍府。追贈劉穆之開府儀同三司。武帝又上表給天子說：「臣聽說崇揚賢人、旌表善者，是王者教化的首要事情，懷念功勞，對不忘忠良意義深遠。所以司勳執掌檔案，勤苦者必有記錄，道德美善旺盛，人死後更加顯明。所以尚書左僕射、前將軍大臣劉穆之，起自平民家庭，輔佐大業開創，對內竭盡謀劃，對外勤於政務，為了國家勤勉努力，精神體力都已用盡。後來進入朝廷工作，主管京城近郊，百業廣興，革新大計。不久前大軍遠征，劉穆之留守捍衛，安撫之功，造福朝野，他的見識度量，確是棟樑之材。正當宣揚盛化，發展聖世，忠義功績，未能完成，不幸逝世，遠近痛悼。皇恩給予嘉獎，喪儀等同三公，哀榮具備，英靈安祥。臣心中尋思，自從義熙年間草創大業，艱難未消，外患既多，內憂相繼，時事混亂，不得安寧。臣下德才貧乏，身負國家重任，實在是靠穆之輔助的功益。不僅是正直的言論、良好的謀略不斷提供，而且忠誠的規勸、機密的籌劃暗中達成，私下的拉攏、詭詐的言詞從不參與。未曾報告朝廷的事跡，群眾尚不知道的功勞，不可勝數。因此我努力十二年，有所成就，外出征討入朝輔政，有幸不辱使命。如果沒有身邊人士的協助，是不可能順利完成任務的。謙虛工作，不講條件，恪盡職守，每當議論到封賞爵位，就自己堅決拒絕。因此當年功勳很大，而王侯未封，他的事跡永遠讓人懷念，怎麼可以掩藏？想來應該加封官爵，追賜土地。使忠臣的功業，不會在身後泯滅，重賞的影響，永遠地鼓勵善人。臣對他的聚合離散、艱難順利，全部瞭解，密友分別，情義深厚，所以呈獻自己的情懷，使朝廷得以聽到。」於是重贈劉穆之為侍中、司徒，封為南昌縣侯。
後來武帝接受了禪讓，常常歎息並懷念他，說：「穆之不死，一定會幫助我治理天下。真的是『人之雲亡，邦國殄瘁』。」光祿大夫范泰回答說：「聖主在上，精英滿朝，劉穆之雖然建立功勳十分艱難，但是未必便與興衰有關。」武帝笑著說：「你沒聽說過驥馬錄這兩種駿馬嗎，它的可貴就在於可以日行千里。」武帝后來又說：「穆之死了，人們會把我看輕的。」他竟是如此地思念他。因為是輔佐接受帝位的元勳，追封為南康郡公，謚號為文宣。
劉穆之年少的時候，家裡貧窮而不肯節儉，喜歡酒食，不加約束。他好往妻子的哥哥那裡去討飯吃，多次受到羞辱，卻不以為恥。他的妻子是江嗣的女兒，十分明達識理，常常禁止他不讓往江氏家去。後來有慶賀宴會，囑咐他不要過來。劉穆之還是前往，吃過飯後又要檳榔。江氏兄弟戲弄他說：「檳榔消食，而您卻常常飢餓，怎麼忽然需要這種東西呢？」他的妻子又割下頭髮買來酒和菜餚，讓她的兄弟來招待劉穆之，從此不再對劉穆之梳洗打扮。後來劉穆之擔任了丹陽尹，將要把妻子的兄弟招來，妻子哭著以頭觸地跪拜致謝。劉穆之說：「本來就沒有懷恨，用不著憂慮。」等他們吃飽喝醉，劉穆之就讓廚師用金盤子盛了一斛檳榔送給他們。
元嘉二十五年，皇上的車駕視察江寧，經過劉穆之的墓，詔令在他的墓前進行祭祀。