劉懷肅，彭城人，是高祖劉裕的姨表兄。他家世世代代都很貧窮，但他親自耕種田地，非常好學。
懷肅剛開始當劉敬宣的寧朔府司馬，劉敬宣東征孫恩，懷肅有戰功，便再當龍驤司馬，費縣縣令。聽說高祖起義，劉懷肅丟下縣中事務投奔劉裕。京城平定後，振武將軍劉道規追擊桓玄，又以劉懷肅當司馬，桓玄留下何澹之、郭銓等戍守桑落州，劉懷肅前進攻擊並打敗了他們。穎川太守劉統被平定後，劉懷肅被用為高平太守。桓玄死後，他侄兒桓振在揚林大敗起義軍，起義軍退守尋陽。劉懷肅和江夏相張暢之進攻在西塞山的何澹之，打敗了何。偽鎮東將軍馮該戍守夏口的東岸，孟山圖據守魯山城，桓仙客防守偃月壘，都聯營相守，劉懷肅和劉道規攻他們，親自披堅執銳，攻陷其中兩城，馮該逃到石城，活捉桓仙客。義熙元年(405)正月，桓振敗逃，劉道規派劉懷肅平定石城，殺了馮該和他的兒子馮山靖。三月，桓振再次襲擊江陵，荊州刺史司馬休之出逃，劉懷肅從雲杜連忙奔馳援救，日夜兼程，七天便到了。桓振佈兵三萬，旌旗蓋野，躍馬橫刀，親自衝擊劉懷肅的戰陣。飛箭傷了劉懷肅的額角，眾人很害怕，想逃跑。劉懷肅睜大眼睛，更加奮勇衝擊，他的部下也隨之奮擊，於是士卒們紛紛爭先，在戰鬥中將桓振斬首。江陵平定，司馬休之再回來鎮守，他握著劉懷肅的手說：「不是你的幫助我便無處可歸了。」偽輔國將軍符嗣、馬孫、偽龍驤將軍金符青、樂志等屯據江夏，劉懷肅又討伐他們，殺掉了樂志等。劉道規任命劉懷肅督江夏九郡，暫時鎮守夏口。
劉懷肅被任命通直郎，同時當輔國將軍、淮南歷陽二郡太守。二年(406)又兼任劉毅撫軍司馬，將軍、郡守還照舊。因為起義功勞，被封為東興縣侯，食邑一千戶。那年冬天，桓右綏、司馬國..、陳襲在胡桃山聚兵侵略，懷肅率步兵和騎兵打敗敵人。江淮間的蠻人和桓氏餘黨造亂子，劉懷肅親自請求出外討擊，走後違背了劉毅的意思，劉毅上表免去懷肅的官職。三年(407)去世，當年四十一歲。死後被追認為左將軍。劉懷肅沒有兒子，他弟弟劉懷慎讓自己的兒子劉蔚祖繼承了劉懷肅的爵位，劉蔚祖官至江夏內史。
蔚祖去世，他兒子劉道存繼承他。太祖元嘉末年，當太尉江夏王劉義恭的諮議參軍。世祖討伐元兇劉邵，起義軍到新亭，劉道存出奔，元兇劉邵殺了劉道存的母親示眾。前廢帝景和末年，他當義恭的太宰從事中郎，義恭被殺，劉道存作為其黨羽也被殺。