劉之遴字思貞，八歲能寫文章。他的父親劉虯說：「這孩子必然會以文學使我們的家族興盛。」他常常對他的兒子們說：「如果和顏氏相比，之遴是得了我的文風。」由此州里很稱讚他。當時有個和尚僧惠有卓異的見識，每次到劉虯那裡去，必定喊著劉之遴的小名說：「僧伽是個有福有德的孩子。」於是握著他的手走了進去。
十五歲的時候，舉為茂才，進行明經對策的時候，沈約、任窗見到他後感到非常詫異。吏部尚書王瞻曾經等候任窗，遇到劉之遴在座，任窗對王瞻說：「這是南陽劉之遴，學優而未仕，您這明鑒之士應該加以任用。」於是把他聘為太學博士。任窗說：「對他進行稱讚，不如當面測試。」當時張稷新任尚書僕射，托任窗給他寫一份推辭的奏表，任窗讓劉之遴代作，執筆立即寫成。任窗說：「荊南的秀氣，果然有異才，以後為官必定超過我。」御史中丞樂藹就是劉之遴的舅舅，御史彈劾官員的奏章，都是讓劉之遴起草。後來他做了荊州中從事，梁簡文帝到了荊州，便陞遷他為宣惠記室。劉之遴好學明鑒，博覽群書，當時劉顯、韋稜都號稱記憶力強，劉之遴常常與他們一起討論，都超不過他。
逐步陞遷為中書侍郎，後來任命為南郡太守。武帝對他說：「卿的母親年紀和德行都已經很高，所以讓卿衣錦還鄉，去盡奉養的天職。」轉任西中郎湘東王蕭繹的長史，太守職務依舊。起初，劉之遴在荊州府時，常常寄居在南郡，忽然夢見前太守袁彖對他說：「您以後當會成為折臂太守，就住在這裡。」後來劉之遴駕車的牛受驚奔跑，他從車上掉下來，摔折了胳膊，右手偏直，不再能屈伸，寫字只能以手去就筆，他哀歎說：「難道要遭受墨刑而做諸侯麼？」周捨曾經跟他開玩笑說：「雖然並排坐位可以橫臥，卻恐怕簡陋的巷子裡沒有枕頭。」後來他連續兩次輔佐藩王，兩次做本郡的長官，曾任秘書監。
後來他出京擔任郢州行事，劉之遴心裡不願意出去，堅持推辭說：「去年我命運毀於離巽，不敢東下；今年所忌諱的又在西方。」武帝手敕說：「朕聽說有了妻子兒女，對雙親的孝心就薄弱了，有了爵位俸祿，對君王的忠心就薄弱了。卿既然家內滿足了，理當會忘記奉公的志節。」於是被有關部門上奏免官。後來擔任都官尚書、太常卿。
劉之遴好古愛奇，在荊州收集了古器數十上百種，其中有一個古器形狀好像盆盂，可以容納一斛，上面有塗金的字，當時的人沒有能認識的。又在東宮獻了古器四種。其中第一種，是用銅雕刻的酒器二枚，兩耳有銀刻的裝飾，銘文說：「建平二年造。」其中第二種，是金銀塗刻的古樽二枚，有篆字銘文寫道：「秦容成侯適楚國之歲造。」其中第三種，是外國澡罐一口，有銘文說：「元封二年，龜茲國獻。」其中第四種，是古代製造的澡盤一枚，銘文寫著：「初平二年造。」
當時鄱陽嗣王蕭范得到了班固所寫的《漢書》真本獻給了東宮，皇太子讓劉之遴與張纘、到溉、陸襄等參校異同，劉之遴錄下了其中相異的地方幾十處，其大略是說：「按古本《漢書》說是永平十六年(73)五月二十一日己酉，郎班固上，而今本沒有上書的年月日。又按古本的《敘傳》號為中篇，而今本稱為《敘傳》。又今本《敘傳》記載班彪的事跡，而古本上說『班彪自己有傳』。又今本的《紀》以及《表》《志》《列傳》不符合次序，而古本符合次序，總共編成三十八卷。又今本的《外戚》在《西域》後面，古本的《外戚》緊接在《帝紀》下面。又今本中的《高五子》、《文三王》、《景十三王》、《孝武六子》、《宣元六王》混雜在各篇傳記的案卷中，古本的《諸王》都排列在《外戚》的下面，在《陳項傳上》。又今本的《韓彭英盧吳述》中說：『韓信只是個挨餓的奴隸，英布實際上是個受過墨刑的囚徒，彭越也是一個盜賊，吳芮做江湖小辟。風雲興起而蛟龍騰躍，結果變成了侯王。』古本敘述道：『淮陰堅毅，持劍闖蕩，國家英才，實在要稱彭越、英布。結果變成了侯王，風雲興起而蛟龍騰躍。』又古本第三十七卷注音釋義，以幫助理解，而今本沒有這一卷。」
劉之遴好寫文章，多學古體，與河東裴子野、沛國劉顯總是一起討論古籍，因此成為好友。當時《周易》、《尚書》、《禮記》、《毛詩》都有武帝的解說，只有《左氏傳》還缺著，劉之遴便著了《春秋大意》十類，《左氏》十類，《三傳同異》十類。共合三十類上奏。武帝非常高興，下詔書回答說：「看過了所寫的《春秋》義解，考校事實討論書本，詞語雖少而意蘊深遠，編年的內容，闡述的意義廣博。左丘明繼承了儒家的風範，公羊氏崇尚西河的學說不追隨鐸椒的闡釋，不採取瑕丘的解說。繼承胡母氏，董仲舒為盛，因循《谷梁傳》，要數車千秋。張蒼傳給左氏，賈誼承襲荀卿，源本分為流派，意旨很不相同，詳略各異，由來已久。過去我年紀較輕，研討的時間很長，自從把它丟開後，至今將近六十年。加上晚秋天短，事忙很少閒暇，半夜裡就要起床，來不及翻閱研討。必須等待夏季，打算再作研究，如果溫習舊業還能隨心，另外再來回答你的提問。」
開始武帝在齊朝擔任荊州府咨議，當時劉之遴的父親劉虯隱居在百里洲，很早就與他互相聽說。武帝偶然困難，派人去向劉虯換谷子一百斛。劉之遴當時在父親身邊，說：「蕭咨議遇到挫折，怎麼能夠把谷子舂好，希望拿米給他。」劉虯依從了他。武帝即位後常常懷念他們。侯景起初立蕭正德為皇帝，劉之遴當時落在了侯景那裡，將要讓他交授玉璽。劉之遴預先知道了，便剃去頭髮披上了法衣才免掉。在此以前，平昌人伏挺出家，劉之遴寫詩嘲笑他說：「《傳》聞伏不鬥，化為支道林。」等劉之遴遇到了變亂，便披上了僧人的黑衣，當時人便拿他取笑。
不久避難回鄉，湘東王蕭繹曾經嫉妒他的才學，聽說他西上到了夏口，便秘密地送藥把他殺死。他不想讓別人知道，便自己為劉之遴做了墓誌銘，給了豐厚的饋贈。劉之遴前後的文集共五十卷。
他的兒子劉三達字三善，幾歲就能清談、寫文章。州將湘東王蕭繹聽說了，便聚集了很多的賓客，召他來測試。他說理作詩，都很有條理。十二歲時，有一次聽了江陵令賀革講《禮》回來，便進行複述，不漏一句。十八歲死去。劉之遴深懷哀悼和遺憾，給他的墓題字稱作「梁妙士」，以作表彰。