顏延之字延年，是琅笽臨沂人。曾祖顏含，是晉朝的光祿大夫。祖父顏約，是零陵太守。父親顏..，為護軍司馬。顏延之少年時候是個孤兒，家裡貧窮，住處靠近外城，好讀書，無所不看，文章為當時之冠。好飲酒，不拘小節。年齡三十歲還沒有結婚。妹妹嫁給了東莞劉穆之的兒子劉憲之。劉穆之聽說了他的美好才學，準備讓他做官，想先與他相見，顏延之不去。
後來他做了宋武帝豫章公世子的中軍行軍參軍。等武帝北伐的時候，授命為宋公，府中派顏延之前往慶賀這一特殊任命。行至洛陽，環視舊時的宮室，都已經成了莊稼地，便悲淒地吟詠起《黍離篇》。路上作詩二首，為謝晦、傅亮所欣賞。
武帝受命登基，他被補為太子舍人。雁門人周續之隱居在廬山，以儒學著稱。永初年間(420～422)，被徵調到京城，開設館堂讓他住在裡面。武帝親自去探視，朝廷的賢才都到了。顏延之在宮中的官員中地位較低，卻被引到了上席。皇上讓人問了周續之三個問題，周續之以很好的辯詞作了回答，顏延之總是用簡要的言語連續壓倒周續之。皇上又讓他正面作出解釋，言詞簡潔，說理暢達，無不稱讚。又調任太子中舍人。當時尚書令傅亮認為自己的文章在當時無人能比得上，顏延之憑依自己的才華，不肯在他以下，傅亮十分惱恨。廬陵王劉義真待顏延之很好，徐羨之等人懷疑顏延之與他是同黨，心裡很不高興。
少帝即位後，顏延之逐步陞遷到始安太守。領軍將軍謝晦對顏延之說：「過去荀勖忌妒阮鹹，排斥他去管理始平郡，現在您又掌管始安郡，這可以稱作是『二始』了。」黃門郎殷景仁也對他說：「這就是常說的人們嫌惡俊傑之士，世俗譭謗文雅之人。」顏延之到始安郡去，路上經過汨潭時，為湘州刺史張邵寫了一篇《祭屈原文》以表達心意。
元嘉三年(426)，徐羨之等人被誅殺，顏延之被徵召為中書侍郎，又轉任太子中庶子，兼任步兵校尉，所受到的封賞和待遇非常優厚。顏延之因為有才學而受賞識，當時的人大多對他推崇折服，惟有袁淑年紀比顏延之小一半，卻並不稱許尊重他。顏延之氣憤地在眾人面前斥責他說：「從前陳元方與孔元駿做文學時年紀相同，而孔元駿卻在陳元方的坐床前面下拜，現在你為什麼不來拜我呢？」袁淑無言對答。
顏延之疏放怪誕，不能被當局所喜歡，他見劉湛、殷景仁獨自擔當要職，心裡感到不平。常常說「天下事哪是靠一個人的智慧所能做完的」。言詞激烈，常常觸犯權要人物。又在少年時候他曾經做過劉湛的父親劉柳的後將軍主簿，到了現在，他對劉湛說：「我的名聲和職位不上升，應當是因為做過您家的吏人的緣故吧！」劉湛很惱恨，告訴給了彭城王劉義康，把他派出京城去做永嘉太守。顏延之十分怨憤，便作了一首《五君詠》，以描述竹林七賢，山濤、王戎以顯貴的身份被罷免。詠嵇康說：「鸞翮有時鎩，龍性誰能訓！」詠阮籍說：「物故不可論，途窮能無慟！」詠阮鹹說：「屢薦不入官，一麾乃出守。」詠劉伶說：「韜精日沉飲，誰知非荒宴！」這四句實際上就是他的自敘。劉湛和劉義康因為他詞語中的含義不謙遜，大怒，想把他罷免到遠方的郡中去。文帝給劉義康的詔書中說：「應該讓他在故鄉思過，如果還是不改，就要放逐到東部去；要是發展到難以饒恕的地步，自然可以把情況如實記錄下來。」於是顏延之一連七年閒住在鄉間，不問外界的事情。
中書令王球以名公兒子的身份超脫於時事之外，與顏延之彼此非常要好，常常救濟他家的窮困。晉朝的恭思皇后埋葬，參加喪事活動的眾多官員，都取用義熙元年(405)授官的人。讓顏延之兼任侍中，地方官吏呈送書信，顏延之喝醉了，把信扔在地上說：「顏延之侍候不了活著的人，怎麼侍候得了死去的人呢？」文帝曾經召見顏延之，頻頻傳詔卻不見他來，他天天只在酒店脫衣露體地唱著輓歌，完全不作回答，另一天酒醒以後才去晉見。文帝曾經詢問他幾個兒子的才能如何，顏延之說：「顏竣學到了我的散文，顏測學到了我的韻文，顏..學得到了我的忠義，顏躍學到了我的飲酒。」何尚之嘲諷道：「誰學到了您的張狂？」顏延之回答說：「我的張狂是無人可以學到的。」何尚之擔任侍中有一次值班，顏延之醉醺醺地來找他。何尚之望見他來了就假裝睡覺，顏延之挑開簾子仔細看了看說：「朽木難雕。」何尚之對左右人說：「這個人醉了十分可怕。」顏延之在家閒居無事，便寫了一篇叫作《庭誥》的文章訓誡子弟。
劉湛被處死以後，顏延之被起用為始興王劉浚的後軍咨議參軍、御史中丞。他在任上很清閒，什麼事情也不上奏。調任國子祭酒、司徒左長史。何尚之平素與顏延之狎暱，他給王球寫信說：「顏延之以後會有其他任命，教府將不再有今天的光輝。」因為有人告他買了別人的田地而不肯按價還錢，尚書左丞荀赤松向皇上稟奏道：「買地要房，是從前的賢人所鄙視的。顏延之只看財利，輕率冒犯舊時的傳統，倚仗詔賜的恩惠，排擠其他值勤官員，將近一年了，仍然沒完沒了。貪圖財利，無所顧忌。顏延之從前曾經因為犯事而被斥退，又被提拔上來，卻竟然並不悔改，不停地怨憤誹謗。交結卑賤小人，沉迷在飲酒當中，胡亂譏刺誹謗，詆毀朝中官員。仰仗自己的過分榮耀，增生刻薄品性，私下憑恃皇上的關照，養成強橫的心理。對外表示要求很少，而內懷競爭意識，爭薪水，求陞官，不知道終止。參加宴會排定位次，肆意辱罵上座賓客。皇上以海量寬容，常常加以教養訓練。愛心包括了具有彫蟲小技的人，不忍將他拋棄。而他卻驕縱沒有節制，一天一月逐漸增長。我聽說名聲超過實際，孟子感到可恥，況且聲不打外面來，名是從自己出。雖然心智低劣，卻自比很高，假氣虛加張揚，竟不慚愧畏懼。怎麼可能再輔佐五教，給朝廷增加光彩！請求以顏延之關於買田的訟詞不真實、胡亂干擾皇上的視聽、以強欺弱的原因，免除他所擔任的官職。」詔令加以認可。後來他擔任了秘書監、光祿勳、太常。
當時和尚釋慧琳因為才學被文帝所欣賞，朝廷的政事很多都與他謀劃，於是士人和平民敬仰。皇上每次引見他，常常上去坐在單獨一個坐榻上，延之十分嫉妒他。有一次趁著醉酒告訴皇上說：「從前同子陪同乘車，袁絲神情嚴肅。這是三台的座位，怎麼可以讓受刑之後的人坐上？」皇上發怒而面色改變。
顏延之性格既急躁，又加上飲酒過量後，放肆地直言，毫不迴避，所以閒談的人都不和他在一起，稱他作顏彪。他居身節儉，不謀取財利，布衣服、素飯菜，在郊野獨自喝酒。當他感到舒適的時候，旁若無人。元嘉三十年(453)，辭官歸居。
元兇劭殺死皇上自立，任命他為光祿大夫。長子顏竣為孝武帝南中郎咨議參軍。後來義軍入京討伐，顏竣制訂密謀，兼寫了檄書，劉劭召來了顏延之拿了檄文讓他看，問他說：「這文章是誰寫的？」顏延之說：「是顏竣的手筆。」又問：「你怎麼知道？」他說：「顏竣的文體，臣不會不認得。」劉劭又說：「言辭怎麼會到這種地步？」顏延之說：「顏竣尚且不顧老臣我，怎麼還能為了陛下？」劉劭的怒氣才消了，於是得以免禍。
孝武帝即位，任命他為金紫光祿大夫，兼任湘東王師。他曾與何偃一同跟從皇上到南郊去，何偃在路上遠遠地呼喊顏延之說：「顏公！」顏延之因為他太輕佻，便加以責怪，回答他說：「我不是三公之公，也不是田家之公，又不是您家阿公，為什麼呼我為公？」何偃羞慚而退。
顏竣後來貴重，權傾朝廷，凡是他所供應的資財，顏延之一點也不接受。器物服裝都沒有改變，宅院房舍依舊，常常乘著弱牛車，遇到了顏竣的儀仗隊，便躲在路旁。他又愛好騎馬在街巷中遊逛，遇到好友熟人就坐在馬鞍上要酒喝，得到了必定要喝盡，欣然自得。他曾經告訴顏竣說：「平生不喜歡見要人，現在不幸見到了你。」他見顏竣建造宅院，便對他說：「要很好地自為，不要讓後世人笑你愚蠢。」他上表解去了王師的職務，配給他親信二十人。
他曾經有一天早晨去找顏竣，遇到賓客盈門，顏竣還躺著沒起，顏延之發怒說：「恭敬自謙，是福氣的根基。驕矜傲慢，是災禍的起點。何況你是出自糞土當中，而升到雲霞之上，驕氣不可長，這樣難道能持久嗎？」
顏延之有個愛姬，沒有這個愛姬在跟前他便吃不飽，睡不安。愛姬憑著得寵，曾經搖蕩顏延之，以致使他從床上掉下來摔傷，顏竣便殺死了她。顏延之痛惜至極，常常坐在靈柩上哭著說：「是貴人殺了你，不是我殺了你。」有一次冬天在靈位前哭著，忽然看見妾推倒屏風來壓顏延之，顏延之害怕地墜落在地上，於是生了病。孝建三年(456)死去，年紀七十三歲。贈為特進，謚號為憲子。
顏延與陳郡謝靈運共以辭採齊名，而速度快慢懸殊。文帝曾經分別下令讓他們擬作樂府《北上篇》，顏延之受到詔令便作成了，謝靈運好久才寫就。顏延之曾問鮑照自己與謝靈運兩人的優劣怎樣，鮑照說：「謝的五言詩如初開的芙蓉，顯得自然可愛。您的詩像鋪展的錦繡，也是彩繪滿眼。」顏延之常常貶斥湯惠休的詩，對別人說：「惠休的作品，只是里巷中的歌謠罷了，看來要貽誤後生。」當時談論的人認為顏延之、謝靈運兩人自從潘岳、陸機以後，文士無人能趕得上，江右最稱道潘、陸，江左最稱道顏、謝。