劉粹字道沖，沛郡蕭縣人。他的祖父劉恢，官至持節、監河中軍事、征虜將軍。劉粹家住京口。他少有大志，能力出眾，開始當本州從事，高祖攻克京城後，他當參建武將軍。隨同劉裕平定京都，他轉任參鎮軍事，不久加任建武將軍、沛郡太守，又兼任下邳太守。後又當車騎中軍參軍。隨同劉裕征討廣固，戰功非常多。又因為起義的功勞，被封為西安縣五等候。大軍回京，他轉任中軍諮議參軍。盧循進逼京城，京口的鎮守責任重大，太祖當年只四歲，高祖叫劉粹輔助太祖鎮守京口。不久轉任游擊將軍。
他遷任建武將軍、江夏相。衛將軍劉毅，是劉粹的族兄，劉粹盡忠於劉裕，不和劉毅相結好。高祖想除掉劉毅，眾人都懷疑劉粹在夏口，高祖更加信任他。到大軍西進時，劉粹非常賣力，劉毅被消滅後，他被封為灄陽縣男，食邑五百戶。母親去世，他辭了官。不久高祖討伐司馬休之，起用劉粹為寧朔將軍、竟陵太守，帶水軍進入黃河。第二年，他被任為輔國將軍，又遷任相國右司馬、侍中、中軍司馬、冠軍將軍，遷任左衛將軍。永初元年(420)，他因為是開國元勳，改封為建安縣侯，食邑一千戶。二年(421)，因為役使監吏，被免除官職，不久又被用為督江北淮南郡事、征虜將軍、廣陵太守。三年(422)，在本職的基礎上兼管豫、司、雍、並四州和南豫州的梁郡、弋陽、馬頭三郡諸軍事、豫州刺史，兼任梁郡太守，鎮守壽陽，頗有政績。少帝景平二年(424)，譙郡流民六十多家叛逃魏境。趙炅、秦剛等六家後悔了，再南投陳留襄邑縣，呆在謀等村。劉粹派部將苑縱夫討伐叛逃民戶，沒有趕上，於是苑縱夫便殺了謀等村三十家的人丁，男子一百三十七人，女人小孩一百六十二人，苑縱夫被抓到勞改營。劉粹因此事被貶為寧朔將軍。當時魏兵南侵，劉粹派將軍李元德襲擊許昌，殺了魏國穎川太守庾龍，這時陳留人董邈自稱小黃盟主，殺了魏國的征虜將軍、廣州刺史司馬世賢，把司馬世賢的腦袋送到京城示眾。
太祖繼位，劉粹遷任使持節，督察雍、梁、南北秦四州和荊州的南陽、竟陵、順陽、襄陽、新野、隨六郡諸軍事、征虜將軍，兼任寧蠻校尉、雍州刺史，襄陽、新野二郡太守。在任職期間他很少徵用民力，愛護百姓，罷除和尚尼姑二千多人，用來補任府中勞力。元嘉三年(426)，文帝討伐謝晦，派劉粹的弟弟車騎從事中郎劉道濟、龍驤將軍沈敝之接受劉粹指揮，從旱路進攻江陵。劉粹用劉道濟當竟陵內史，讓他和沈敝之以及南陽太守沈道興率騎兵和步兵到沙橋，被謝晦的司馬周超打敗，將士們死傷超過一半，於是劉粹被降為寧朔將軍。當初謝晦和劉粹關係很好，用劉粹的兒子劉曠之當參軍，劉粹接受命令南伐，毫不猶豫，太祖因這一點很讚賞他。謝晦也把劉曠之送回去而沒有害他。第二年，劉粹去世，享年五十三歲。被追認為安北將軍、持節，本官照舊。
劉曠之繼承劉粹，官到晉熙太守。劉曠之去世，他兒子劉琛繼承。劉琛死，沒有兒子，封爵被取消。劉琛的弟弟劉亮，順帝升明末年(479)，當尚書駕部郎。劉粹的非正嫡的長子劉懷之，當臨川內史，和臧質一同造反被殺。