徐勉字修仁，東海郯縣人。祖父名長宗，宋高祖霸府行參軍，父親名融，南昌相。
徐勉父親早死，家庭貧寒，從小便磨礪出堅強的意志和清高的氣節。六歲那年，連綿大雨不停，家人祈求雨停天晴，徐勉寫了一篇文章，受到年高而有道德學問的人稱讚。長大後專心好學。剛入官場時為國子生。太尉文憲公王儉當時任國子監祭酒，時常稱徐勉有宰相輔國的能力。射策中舉，補任酉陽王國侍郎。不久遷任太學博士、鎮軍參軍、尚書殿中郎，後因公事免官。又任中兵郎、領軍長史。琅笽的王元長才氣和名聲很高，曾想結識徐勉，時常托人去請他。徐勉對人說：「王元長名氣大聲望高，很難收斂鋒芒。」不久王元長遭禍殃，當時人沒有不信服徐勉的機警與遠見。
起初徐勉同長沙宣武王交往時，高祖很器重欣賞他。起義軍到京城時，徐勉在新林謁見高祖，禮遇很高，讓他管理書記事務。高祖即帝位，拜任中書侍郎，遷建威將軍、後軍咨議參軍、本邑中正、尚書左丞。掌握大權和王法，舉薦、糾彈不少人，當時評論他很稱職。
天監二年(503)，任給事黃門侍郎、尚書吏部郎，參掌選考舉人。遷侍中。當時王朝軍隊北伐，烽火台戰報不停。徐勉掌管軍事情報，日夜不停地工作，時常幾個月才回家一次。每次回家時，一大群狗都警惕地對他狂叫。徐勉感歎地說：「我憂國忘家，才造成這個樣子。我死了以後，也是傳記中的一件事跡。」六年(507)，任給事中、五兵尚書，遷吏部尚書。徐勉任主考官，倫理關係井然，既會寫文章，又很有口才，雖文件堆滿辦公桌，且有很多客人，應對如流，手裡還揮筆不停。他還能公平對待各家各姓，不偏愛袒護任何人。時常同學生夜間集會，有位叫虞皓的客人懇求擔任詹事五官，徐勉很嚴肅地說：「今晚只能談論風和月，不便談公事。」所以當時人都信服他大公無私。
後又任他為散騎常侍、游擊將軍，沒有正式封授，改任太子右衛率。遷左衛將軍、太子中庶子，服侍太子。昭明太子還很小，詔令徐勉管理東宮事務。太子對他很尊重，遇事即向他請教徵詢。太子曾在殿內講解《孝經》，臨川靖惠王、尚書令沈約任太傅、少傅，徐勉和國子監祭酒為執經，王瑩、張稷、柳登、王..為侍講。當時人對他的評價很好，徐勉多次推謝。又寫信給沈約，請求換任太子侍讀，皇帝不同意，然後才就任執經。轉任太子詹事、雲騎將軍。不久又加封散騎常侍，遷尚書右僕射，仍保留太子詹事職務。又改任侍中，多次請求解除宮中職務，皇帝下詔書勸慰他，並不同意辭職。
當時人們辦理喪事，多不遵守禮制，早晨死去傍晚就殯葬，以快速為時尚。徐勉上奏說：「《禮記137·翔。損害人情天理沒有比這更嚴重的了。況且孝子死去親人時，心情很悲痛，喪事多由他人辦理，愛與憎在其間誰占主要很難說得清，如果察看時有疏忽，本來沒有死卻認為死了，即使是萬分之一的概率，也會讓人十分怨恨，感到殘酷，不如過一天再裝殮，滿足孝子盼親人返生的希望。請求從今後士人百姓，全都依照古代禮制，死後三天才裝棺。如有不遵循，嚴加懲處。」皇帝下詔同意了他的奏疏。
不久授任宣惠將軍，並設置佐史，仍保留原任的侍中、僕射職位。又加任尚書僕射、中衛將軍。徐勉因為舊時的恩情，破格提升為重臣，對皇上盡心盡力。只要知道的事情便全力去作。從選辟的小職到現在的高位，時常擔任選拔人才的官職，很受士人的歡迎。皇室及官府中的事情從來不向外透漏消息。每次上書反映情況總是把草稿燒掉。通曉書經史跡，朝廷禮儀、國家典章、婚禮、冠禮、吉禮、凶禮，徐勉皆參與策劃制定。普通六年(525)，上書奏請制定五禮說：
「臣聽說『陰與陽是天運行的規則，仁與義是人發展的規則』，所以說『用道德來引導，用禮儀來規範』。禮儀能夠安定君位、治理民眾、弘揚淳風、革除陋俗、治理國家、教育後人。雖說經禮三百，曲禮三千，經文三百，威儀三千，但大體可分為五類，就是宗伯所掌管的典禮：吉禮、凶禮、賓禮、軍禮、嘉禮。所以祭祀不按禮制就不莊嚴肅穆；喪葬不按禮制，違背死者意願，不顧活人想法的人就會增多；冠禮婚禮不按禮制，男女就會錯過人生的時序；接待客人不按禮制，則朝拜便失去威儀；軍隊不按禮制，部隊的紀律就會混亂。治國修身，禮的關係都很大。
「自周朝滅亡後，王道衰落、禮儀斯文秩序大亂，禮樂征伐由諸侯決定，《小雅》被廢，舊的禮樂制度缺失。所以韓宣到魯國，學習周公的德政；叔侯在晉國，辨識郊祭的儀節。戰國時期相互交戰，禮教更是衰落。暴秦焚書坑儒，禮儀制度差不多廢除乾淨。漢朝剛建立時百廢待興，還讓叔孫通在野外演習朝廷禮儀，才知道帝王的尊貴。漢朝以後，戰亂不停，禮制有增有減，有的憑武功橫行天下，有的喜歡黃老的學說，禮儀的具體規定沒有發展。到東漢時曹褒，在南宮整理禮書共一百多篇，雖說寫在竹簡上，但沒有上奏。此後戰亂不停，文章散失。規章制度、禮儀文書在戰亂中遭到破壞。到晉朝制定新的禮制，先有荀覬，又有摯虞從事這方面的工作。後來晉朝滅亡，禮儀制度傳下來的很少。東晉創立，沿用而已，無力整肅民風。
「陛下英明，建立梁朝，撥亂靠武力，治國靠文治，功成後就要作樂，業就後就要制禮。
「自齊永明三年(485)開始修定五禮，太子步兵校尉伏曼容上書請求制定一代的禮樂制度，當時參與這一活動的有前後兩朝的學士十人，專門修訂五禮，咨詢稟告將軍丹陽尹王儉，學士也住在郡中，經過好幾年，也未完成。文憲死後，有關禮文散失，後又將此事交付國子監祭酒何胤，九年過去了，仍然沒有完成。建武四年(497)，何胤回到東山，齊明帝又將此事委託給尚書令徐孝嗣，永元年間，徐孝嗣又因此遭禍，文稿散失不少，當時又將收集的文稿，暫且交給尚書左丞蔡仲熊、驍騎將軍何佟之，共同負責此事。當時修禮的人住在國子學中門外，東昏一朝，戰火不斷，禮書文稿又散失一大半。天監元年(502)，何佟之上書講明設置損減的原則，皇帝下令讓他仔細編訂，並讓大臣商議。當時尚書認為，朝政剛立，國家還不太平，等安定以後，再來修訂，想暫且省削禮局。皇帝下詔說：『禮樂制度被破壞，使得國家、個人行事不統一，應該按實際情況修定，作為標準，但過去修撰時按私情選定人員不按學識，只憑貴人的意願不參照古人，所以多年不能完成，有名無實。禮制既然是治國的前提，你們可以挑選人選，人員定下後，就可編撰。』於是尚書僕射沈約等人建議，請求五禮分別設舊學士一人，每人分別推薦學士二人，相互幫助，抄錄撰寫。對有疑問的條目，按照前漢石渠閣、後漢白虎通兩個文本追根求源進行決斷。於是讓舊學士右軍記室參軍明山賓負責吉禮，中軍騎兵參軍嚴植之負責凶禮，中軍田曹行參軍兼太常丞賀王易負責賓禮，征虜記室參軍陸璉負責軍禮，右軍參軍司馬..負責嘉禮，尚書左丞何佟之總負責。何佟之死後，鎮北咨議參軍伏日恆代替他。後來又讓伏日恆代替嚴植之負責凶禮。不久伏日恆陞官，讓五經博士繆昭負責凶禮。又因為禮儀深奧廣博，記載不全，為了集思廣益，共同討論，又讓鎮北將軍丹陽尹沈約、太常卿張充和我三人共同負責此事。後來我又接到皇帝的詔令，全盤負責五禮修撰。最後又讓中書侍郎周捨、庾於陵二人參知此事。若有不清楚的地方，分管各禮的學士應先提出看法，咨詢五禮舊學士和參知，各抒己見，相互啟發，最後決定。可疑的條目一多，花的時間就長，新意不少，沒有哪一個判斷不是引經據典，條理清晰，分析入微，以前的學者所沒有解釋，後來的學者從未聽說過。所有的奏書、裁決都記在篇目前。
「五禮之中繁簡不同，所以不能同時完成。《嘉禮儀注》在天監六年(507)五月七日交尚書，共十二秩，一百一十六卷，五百三十六條；《賓禮儀注》在天監六年(507)五月二十日交給尚書，共十七秩，一百三十三卷，五百四十五條；《軍禮儀注》在天監九年(510)十月二十九日上交尚書，共十八秩，一百八十九卷，二百四十條；《吉禮儀注》在天監十一年(512)十一月十日上交尚書，共二十六秩，二百二十四卷，一千零五條；《凶禮儀注》在天監十一年十一月七日上交尚書，共四十七秩，五百一十四卷，五千六百九十三條：總計一百二十秩，一千一百七十六卷，八千零一十九條。又列副秘閣和《五經》和一本，謄寫校定，到普通五年(524)二月才最後完成。
「我認為編撰禮制，好幾朝代都未能完成，皇上鴻運才最後完成。周代禮儀三千條，還包括虛數在內；現今禮儀八千條，具體事例附載其後。由簡單的文字加以修飾性語言，所以其數量超過一倍，就好像八卦的爻一樣，相互交叉構成六十四種卦象。周朝文王、武王就是通過禮儀來統領天下，規範朝政，周公旦在前人的基礎上加以修訂，使天下呈現龍鳳太平的祥瑞之兆。自此之後，過了很長時間。孔子說：『誰能繼承周朝，雖百世也能傳名。』這不就是說可以齊功比美嗎？我個人才識短淺，擔任這個工作拖延多年，應負主要責任。加上禮儀修成之初，沒有上報，實在是才疏事多，考慮不周，時常感到慚愧不安，日夜不忘。自今年春天皇上親自視察軍隊，找來軍禮一看，發現有關條款全都記載得很詳細。所謂文采飛揚，相信能與日月齊光，可以頒行天下。我心裡很高興，很想把有關情況作一說明，加上前後幾任官員都去世了，我雖然活著，但也快老了，心想皇世大典，有可能無人上奏，不知道下面的情況怎樣，於是寫明撰修的始末，以及負責人所寫成的卷秩條目等，上奏皇上。」
皇帝下詔說：「主要禮儀已具備，有關典章也記載得很清楚，下詔各有關官吏按此執行。」又下詔說：「徐勉上書很好。起源沿革清楚，憲章詳細完整，功成業定，表現在這裡。可以讓天下感到光明，在百代實施，使萬世以後，知道我朝的文明。負責的官吏按此執行，不得疏失。」不久加任徐勉為中書令，給親信二十人。徐勉因病自己請求辭去內朝官職，皇帝不同意，所以下令他可以不去地方體察民情，三天上朝一次，有事可派主書決定。腳痛得很厲害，好久不能上朝，堅決請求辭去官職，皇帝才同意他休假，病情好轉就要回來。
徐勉雖然居顯要的官位，但不置辦家產家業，家裡沒有積蓄，俸祿接濟親族中的貧窮人家。他的學生舊交有的曾勸說他。徐勉便回答說：「別人把財富留給子孫，我把清白留給子孫。子孫有才能，自己就能夠弄到大車小車；如果沒有才能，財富最後還是會落到別人手中。」
中大通三年(531)，又因病請求辭去官職，改任特進、右光祿大夫、侍中、中尉將軍，並為他設置佐史，其他待遇和從前一樣，增加親信四十人。宮庭來探望的人，車輪相連，冠蓋相望；飯食醫藥與皇室相同。皇帝曾下詔要親臨看望，徐勉認為跪拜不方便，多次請求皇帝不要來，皇帝同意了他的請求。大同元年(535)死，終年七十歲。高祖聽說後眼淚直淌，當天便去憑弔，下詔贈特進、右光祿大夫、開府儀同三司，其他官職仍保留。送棺材一副，朝服一套，衣服一套。贈錢二十萬，布一百匹。皇太子也到場哀悼。謚號簡肅公。
徐勉很會寫文章，寫作十分勤奮，雖然政務很忙，仍不停地著述。曾因起居注太繁雜，徐勉對之加以刪節撰成《流別起居注》六百卷；《左丞彈事》五卷；在選舉官任期內，撰寫《選品》五卷；齊朝時，撰寫《太廟祝文》二卷；認為儒教、佛教教義不同，但目的相同，撰《會林》五十卷。其著述前後二集共四十五卷，又撰寫《婦人集》十卷，都在當時流傳。大同三年(537)，前任佐史尚書左丞劉覽等到皇宮陳述徐勉生平事跡，請求立碑刻石紀念他的功德，皇帝下詔在他的墓上立碑。