劉芳，字伯文，彭城人，漢代楚元王的後人。六世祖劉納，晉代任司隸校尉。祖劉該，任劉義隆政權的征虜將軍、青徐二州刺史。父劉邕，劉駿政權的兗州長史。
劉芳出繼給伯父劉遜之當兒子，遜之，任劉駿政權的東平太守。劉邕參與劉義宣的事情，身死彭城。劉芳跟隨伯母房氏逃竄青州，逢大赦獲得自由。舅房元慶，任劉子業青州刺史、劉文秀建威府司馬，被劉文秀所殺。劉芳母子進入梁鄒城。慕容白曜南討青、齊，梁鄒降順，劉芳北遷為平齊百姓，時年十六歲。魏南部尚書李敷妻，司徒崔浩弟弟的女兒，劉芳的祖母，是崔浩的姑姑。劉芳到京城，來到李敷府上，崔以劉芳四處流浪為恥，拒絕見他。劉芳雖然處於窮苦窘迫之中，但學業仍未荒廢，他聰敏過人，篤志經典。白天讀書終日，以自資給，夜則誦讀，終夜不睡，以至有典衣度日之困，而他卻淡然自守，不急急於榮利，不慼慼於貧賤，寫下《窮通論》以安慰自己。
劉芳為諸僧抄寫經論，字跡很漂亮，一卷價格一匹布，一年之中能收入百餘匹布，像這樣持續了數十年，賴此度日，情況漸漸好起來。由於劉芳與有德學的著名僧人，經常交往。當時南方有位和尚叫惠度因事被責，不久暴亡，劉芳因此被牽連，文明太后把他召入宮中，抽了一百鞭子。當時，宦官李豐主持這件事，他知道劉芳篤於學業，志行很高，便在太后面前講起他，太后聽說，有些慚愧。正逢蕭賾的使者劉纘來了，他是劉芳的同族兄弟，太后提拔劉芳為主客郎，與劉纘應對。不久被拜授為中書博士。後來與崔光、宋弁、邢產等人一起任中書侍郎，不久帝詔劉芳與邢產到東宮教授太子經書，遷任太子庶子，兼任員外散騎常侍。跟隨車駕到洛陽，劉芳在路途上及到京城，總是侍坐太子講讀孜孜。劉芳才思深淵敏捷，特別精於經義，博聞強記，兼覽《蒼》、《雅》，尤其擅長音訓，辨析字義確當無疑。從這以後，他受到的禮遇日盛一日，得到的賞賜也很豐厚優渥，被正除為員外散騎常侍。不久兼通直常侍，跟隨皇帝車駕南巡，撰述行事，不久正除。王肅投奔皇魏，高祖十分器重，朝野為之矚目。劉芳沒機會與他相見。高祖在華林宴請群臣，王肅說到「古時候只有婦人有成年禮，而男子則沒有」。劉芳說：「推尋經書《禮》正文，古時候女子男子都有此禮。」王肅說：「《喪服》說男子免而婦人結喪髻，男子戴帽而婦人插笄。像這樣，則男子不應該有插笄以示成年的禮制。」劉芳說：「這專門說的是不幸的凶事。《禮》：『初遭喪，男子免冠，這時婦人則結喪髻；男子戴帽，則婦人插笄。』這說的都是應時而變，而男子、婦人免冠結髻、戴帽插笄表示傷悼的方式不同。又冠尊，所以代替了其插笄。而且這是換言互稱，並不是說男子無笄。又《禮內則》稱：『子事父母，夜晚雞開始鳴叫時，梳洗插笄。』由此而言，男子有笄也就很明確了。」高祖讚賞這番議論，玩味了很久。王肅也覺得劉芳說得很對，說：「這莫非就是劉石經嗎？」過去漢代建造三字石經放置在太學，學者有什麼文字上的問題，多到那裡校質。劉芳音義明辨，有疑問的人多前往詢咨訪求，所以當時人稱為劉石經。酒宴完畢，劉芳與王肅一起出去，王肅握著劉芳的手說：「我從小留意《三禮》，在南方與諸儒生一起，經常一起討論，大家都說此義就像我方才說的那樣，今天聽到你這番解釋，頓時去掉我平生之惑。」劉芳理義精通，都像此字這樣。
高祖遷居洛陽，經過朝歌，見到殷商比干的墓塚，愴然悼懷，撰文吊惜。劉芳為之註解，表奏呈上。帝下詔說：「看卿的注文，很是廣富淵博。但是辭藻不如屈、宋，義理不如張、賈。既然有此雅致，便可把它付印集書。」帝下詔因劉芳經學精深博洽，超階遷授國子祭酒。劉芳因居母喪離職。高祖南征宛、鄧，起任他為輔國將軍、太尉長史，跟從太尉、咸陽王元禧攻打南陽。蕭鸞將領裴叔業入侵徐州，疆場之民，大都很想歸順裴叔業，高祖很擔憂，任命劉芳為散騎常侍、國子祭酒、徐州大中正，行徐州事。徙遷兼任侍中，隨征馬圈。高祖在行宮去世。及世宗即位，劉芳為他手加莽袍冠帽。高祖的遺體從裝殮到啟祖、山陵、練除、喪事的自始至終，都是劉芳一手操辦。咸陽王元禧等人奉高祖遺詔，命令劉芳入宮教授魏世宗經書。等到南徐州刺史沈陵外叛於敵，徐州大水，朝廷派劉芳撫慰賑恤災民。不久被授職正侍中、祭酒，中正官職照舊。
劉芳上表說：「大凡治理國家的，無不崇儒尊道，先設學校，即使政有質樸文飾，這一範式從不改易，這是由於它是萬端資始，眾務稟法的緣故。唐、虞之世以前，典籍不存；盛周以來，學校任居虎門。《周禮·大司樂》云：『師氏，掌美以女微詔王。居虎門之左，司王朝，執掌國中過失的事情，以之教誨國臣子弟。』蔡氏《勸學篇》說：『周朝師氏，居虎門左，闡釋六藝，以教國子。』而今的祭酒，就是周朝的師氏。《洛陽記》：『國子學官與天子宮殿相對，太學在開陽門外。』案查《學記》說：『古代王者，建立國家，親愛人民，都以教學為先。』鄭氏註釋說：『內則設立師保以教，使國中子弟學受，外則有太學、庠序的官職。』由此而論，國學在宮殿之內，太學在皇廷之外，很明確了。案如《洛陽記》，還是仿此設置的。臣愚蠢地認為：現在既已徙縣崧、鏶，皇宮遷居伊、洛，宮殿府寺，都依舊式，至於國學，怎麼就不照原樣了？校比舊事，其位置應在宮門左邊。至如太學，舊基仍在，仍舊營構。又過去太和二十年(496)，朝廷下詔設立四門博士，在四門置學宮。臣按：從周朝溯上，學校只有兩種，或尚西，或尚東，或者以在都城為貴，或以在郊郭為上。到了周代，學校有六。師氏居內，太學在國都，四小學在郊郭。《禮記》說周人『養眾老於學校，學校在國都四郊』，《禮》又說：『天子設立四學，當入學而太子立。』注云：『四學，周代國都四郊的學校。』案《大戴禮記163·了他的意見。
遷任中書令，祭酒官職照舊。出任安東將軍、青州刺史。劉芳為政儒慢緩順，不能禁止奸邪盜賊，但廉潔清正，寡求少欲，無犯公私利益。還朝後，參預議定律令。劉芳斟酌古今，成為大議的主要人物，律令中損減增益的內容，大多出自劉芳的意圖。魏世宗以朝廷禮儀多有缺損，其一切議論，都交給劉芳修正。於是朝廷中吉凶大事都找劉芳咨詢訪求了。
轉任太常卿，劉芳以所設置的五郊以及日月的位置，離都城的裡數於禮有相違背的地方，又加上對靈星、周公的祭禮儀式，覺得不應該隸屬太常寺，於是上疏說：
「臣聞國家大事，沒有比郊祀更重要的了，郊祀的根本，實質是在審定位置。所以列聖區別之言，彰明浩浩典籍；先儒正確之論，昭著於經史。為臣學識談不上通經，業也不能說通古，怎敢輕率地奏陳瞽妄之言，妄陳管見之說。臣竊見所設置的祭壇祀祠遠近的法度，考證典制，或許有欠妥的地方，臣既忝居此職，請陳膚淺之見。
「《孟春令》說『其數八』，又說『迎春於東郊』。盧植說：『東郊，八里郊也。』賈逵說：『東郊，木帝太昊，距京都八里。』許慎說：『東郊，八里郊也。』鄭玄《孟春令》注云：『王者居明堂。《禮》曰：王者出城十五里迎歲，是殷代禮制。《周禮》曰，在離城十五里的近郊祭祀。』鄭玄另注說：『東郊，離都城八里。』高誘說：『帝迎於東方，壇祠在離都城八里的郊郭。』王肅說：『東郊，八里，因木數。』這都同是春郊壇祠離都城八里的明據。《孟夏令》云『其數七』，又說『迎夏於南郊』。盧植說：『南郊，七里郊也。』賈逵說：『南郊壇祠，祭火帝炎帝，離都城七里。』許慎說：『南郊壇祠，在離都城七里的郊郭。』鄭玄說：『南郊，離都城七里。』高誘說：『南郊，七里郊也。』王肅說：『南郊壇祠，離都城七里，因於火數。』這又是南郊壇祠離城七里的詳細根據。《中央令》說：『其數五。』盧植說：『中郊，五里之郊也。』賈逵說：『中兆，黃帝之位，並南郊之季，所以說兆五帝於四郊。』鄭玄說：『中郊，在西南未地，離都城五里。』這又是中郊五里的明據。《孟秋令》說『其數九』，又說『迎秋於西郊』。盧植說：『西郊壇祠，在離城九里的郊郭。』賈逵說：『西郊，祭金帝少..，在離都城九里的地方。』許慎說：『西郊壇祠，在離城九里的郊郭。』鄭玄說：『西郊，去都城九里。』高誘說：『西郊壇祠，在離城九里郊郭。』王肅說：『西郊，九里，因金數。』這又是西郊九里的明據。《孟冬令》說『其數六』，又說『迎冬於北郊』。盧植說：『北郊壇祠，在離都城六里的郊郭。』賈逵說：『北郊壇祠，祭祀水帝顓頊，在離城六里的郊郭。』許慎說：『北郊壇祠，在離城六里的郊郭。』鄭玄說：『北郊壇祠，離城六里。』高誘說：『北郊，六里之郊也。』王肅說：『北郊六里，因水之數也。』這又是北郊六里的明據。宋氏《含文嘉》注說：『《周禮》，王郊千里，二十分其一為近郊。近郊五十里，一百里則為遠郊，迎祭王氣都在近郊舉行。漢代不設王畿，則以方比之數為郊郭的位置，所以東郊八里，南郊七里，西郊九里，北郊六里，中郊在西南未地，離都城五里。』《祭祀志》說：『建武二年(26)正月，開始制立郊祀於雒陽城南七里的地方。這是依照元始年間(1～5)的做法，北郊在雒陽城北四里的地方。』這又是漢代南北郊的明證。今天的地點只按照這個選擇。至如離城三十里設立郊祀之壇，進與鄭玄所引的殷、周兩代的做法相違，退與漢、魏所行辦法相背。凡是邑城之外都稱郊，今天計算四郊，應各以郭門為限度，距城裡數依上典制。
「《禮》，朝拜日月，都在城的東西門外。而今祭日月的位置，離城東西路程各為三十里，臣竊以為又未詳審。《禮》又說：『祭日於壇，祭月於坎。』而今計造如上。《禮儀志》說『設立高謀祠於都城南面』，不說離都城裡數。所以現在仍照舊。靈星本不是禮制之事，祭祀出自漢初，專門為了祝祀田耕，總是隸祭於郡縣。《郊祀志》說：『高祖五年(前202)，高祖詔示御史，命令天下設置靈星祠，祭祀用太牢，縣邑的令長主祭。』晉代祠祀令說：『郡、縣、國祭祀稷神、社神、先農，縣又祭祀靈星。』這是靈星的祭祀在天下眾縣的明據。周公廟所以別設在洛陽，是因為姬旦創成洛邑，所以傳祭洛陽，崇祠不絕，以彰明其功勞。伯夷、叔齊的祠廟，也世世代代為洛陽界內的神祠。而今都移祭太常，臣擔心會與其本意相違。天下祭祀錯位的事情很多，都應該歸應屬的部門郡縣修理，公私在所祭的地方祈請。為臣竊以為太常寺所掌祭的郊廟神祇，自有其常限，不應該臨時隨意斟酌，如果隨便亂來，則不免會婬侵祠祭常規。二祠在太常，在洛陽，對於國家來說都是一樣的，然而具體做起來就應審其根本。
「為臣以庸懶卑陋，謬妄忝居今天的職位，為臣考索經典，博采群議，既無別樣說法，可以說大致可以此為據。而今年冬天勞作的間隙，野靜人閒，便可遷移郊祠神壇，各方都很方便。」
皇帝下詔說：「所上奏陳確有明據，但是郊廟先朝置立已久，也就姑且依照舊式。」
這以前，魏高祖在代都詔令中書監高閭、太常少卿陸王秀，加上公孫崇等十多人修理金石樂器，以及八音之器。後來，公孫崇任太樂令，上書奏請尚書僕射高肇，一起辦理此事。魏世宗下詔讓劉芳一起處理。劉芳上表認為禮樂之事關係重大，不能馬上下決斷，如不廣泛招延公卿大臣，廣泛聚集大儒宿彥，討論得失，研究是非，就會無法讓它垂之萬世，成為不朽的法式。所陳得到採納，數旬之內，朝臣頻繁討論三次。在那時，朝中官員都覺得公孫崇既然專門管理此事已有很長時間，不應該有什麼乖異謬妄的地方，討論時大家各各默然無話可說。劉芳於是探引經書，搜尋舊文，共相質難，所說都有明確的根據，認為樂器盈縮尺度都與典制有差距，不合典制範式。公孫崇雖然也有一些應答，而往往答非所問，終而無法自圓其說。尚書把這些情況述奏皇帝，帝仍詔委派劉芳另外繼續考索典制，從此以後學者更加崇敬他了。
劉芳以社稷壇上無樹，又上疏說：「依照《合朔儀注》：『日有變化，用朱絲結繩，以之繞系社樹三周。』而今連社樹都沒有。又《周禮·司徒職》云：『設立社稷之牆，而樹之以田主，各種上社廟所宜種的樹木。』鄭玄注說：『所宜種的樹木，指像松柏栗樹之類。』這是一證。又《小司徒·封人職》說：『掌設君王的社牆，確立邊界封土而種樹。』鄭玄注說：『不說稷，因為王主祭於社，而稷，是社的分支。』這是二證。又《論語》曰：『哀公找宰我問社廟之事，宰我說：夏後氏種松，殷人種柏，周人種栗。』這是根據土地情況而決定的。這是三證。又《白虎通》說：『社稷所以有樹，是什麼原因呢？還是尊崇它的標誌。也為的是讓老百姓看到就產生敬仰之意，又是為了表彰其功。』案此是正面解釋所以有樹的意義，而不是說有還是沒有樹。這是四證。這裡說『社稷所以有樹的原因』，這樣，稷廟中有樹也應很明確了。又《五經通義》說：『天子太社、王社，諸侯的國社、侯社，制度怎樣？曰：社都只有垣牆而沒有屋宇，在其中植樹，可種木的是因為有土，主土生萬物，萬物之中沒有比木更好的了，所以種樹。』這是第五證。這是最為合適的說明社中有樹的意旨了。又《五經要義》說『社廟中必定種上樹木』。《周禮·司徒職》說：『分社而種樹，各因土地所適宜生長的樹木。』《尚書逸篇》說：『太社種松，東社種柏，南社種梓，西社種栗，北社種槐。』這是第六證。這又是太社及四方種樹有區別的明據。臣又見到諸家《禮圖》，社稷圖都畫上了樹木，只有誡社、戒稷沒有樹。這是第七證。為臣雖然辨社稷中有樹種植的依據，還沒有確定所種植的樹種。查《論語》稱『夏後氏以松，殷人以柏，周人以栗』，可見世代不同。而《尚書·逸篇》則說『太社種松，東社種柏，南社種梓，西社種栗，北社種槐』，像這樣，便是一代之中，而五社所種樹種也各不相同。愚見認為應該種植松樹。為什麼這樣說呢？《逸書》說『太社惟松』，今天種植松樹，不怕失於禮制。只有稷壇所種樹種沒有現成根據，但它是社的分支，大概也不會離了松樹。」魏世宗接受了他的意見。
劉芳沉雅方正，氣度甚高，精通經傳，魏高祖尤其器重禮敬他，動不動就咨詢於他。太子元恂在東宮的時候，魏高祖想為他娶劉芳的女兒，劉芳以其女年齡相貌不合適推辭了，魏高祖歎服他的謙虛謹慎，改敕劉芳推舉其宗族中的姑娘，劉芳推舉了其族子劉長文的女兒。高祖於是為元恂娶了過來，與鄭碅女兒相對為左右妻室。崔光對劉芳有師長之敬，遇事必去詢問。劉芳撰鄭玄所注的《周官·儀禮音》、干寶所注的《周官音》、王肅所注的《尚書音》、何休所注的《公羊音》、范寧所注的《谷梁音》、韋昭所注的《國語音》、范曄《後漢書音》各一卷、《辨類》三卷、《徐州人地錄》四十卷、《急就篇續注音義證》三卷、《毛詩箋音義證》十卷、《禮記義證》十卷、《周官》、《儀禮義證》各五卷。崔光上表請求讓劉芳取代自己任中書監的官職，世宗不同意。延昌二年(513)去世，享年六十一歲。帝下詔賜帛四百匹，贈鎮東將軍、徐州刺史，謚稱文貞。