庾肩吾字慎之，八歲就能賦詩，兄長庾於陵對他十分友愛。起初他擔任晉安王的國常侍，晉安王常常遷移守地，庾肩吾一直跟隨遷移。在雍州，他被任命與劉孝威、江伯搖、孔敬通、申子悅、徐防、徐詀、王囿、孔鑠、鮑至等十人抄錄眾多典籍，供給很多果品，號為高齋學士。晉安王做了皇太子，庾肩吾兼東宮通事舍人。後來擔任湘東王錄事、咨議參軍、太子率更令、中庶子。
簡文帝創建了文德省，設置了學士，庾肩吾的兒子庾信、徐詀的兒子徐陵、吳郡的張長公、北地的傅弘、東海的鮑至等人成為其中的人選。齊朝永明年間(483～493)，王融、謝紿、沈約在文章中開始使用四聲，作為創新，到了這時，轉而拘守聲韻，更加靡麗，超過了以往。簡文帝在給湘東王的信中論述道：
「近來見京城的文體，鈍弱超過往常，比著學習浮華，爭相講求舒緩，既不同於比興，也背離了《風》《騷》。六典三禮，使用則有地方，吉凶嘉賓，運用也有處所，不曾聽說吟詠性情，反而模擬《內則》之篇，執筆寫史，又去依照《酒誥》之作。遲遲春日，反而去學《歸藏》，湛湛江水，卻是如同《大傳》。
「我既然在寫文章方面很笨拙，不敢輕易地有所指責，只是以當代的作品，依次與古代的才士相比，遠有楊、馬、曹、王，近有潘、陸、顏、謝，看他們的遣詞用心，全不相似。如果以今天的文章為是，那麼就是過去的賢人為非，如果認為過去的賢士可以稱揚，那麼今天的文體就該拋棄。如果說他們都是各懷己見，則不敢贊同。又當時有傚法謝康樂、裴鴻臚文章的，也對他們很有疑惑。為什麼呢？謝氏吐言高拔，出於自然，時而有不夠嚴謹的，是他的糟粕。裴氏則是良史之才，完全沒有篇章的美感。這就是學謝而沒有得到他的精華，只是得了他的冗長；學裴則棄絕了他的所長，只得了他的所短。謝固然是精巧而不可傚法，裴也是質樸而不應羨慕。所以心猜臆斷之屬，好名忘實之類，追隨謝氏，哪是三千弟子所能趕上，遵從裴氏，害怕兩唐不能流傳。所以玉徽金銑，反而被不識貨的人所鄙視，《巴人》《下俚》，更能為郢城中的人所愛聽。《陽春》曲高而不能唱和，妙聲斷絕而無法尋找。竟然不精細探討，衡量文雅質樸，雖然有異巧之心，但終究愧於高手。所以手握珍寶懷藏美玉之士，望著鄭國而知道退返；頭戴章甫腳穿翠履之人，遠見閩鄉而深長歎息。詩歌已是這樣，散文卻又相同。只是墨汁不會言語，要受他們渲染，紙張沒有情感，任憑他們疊畫。太厲害了，文章的邪道橫流，竟到了這種地步！
「就像近代謝紿、沈約的詩歌、任窗、陸垂的散文，這些都是文章的冠冕，作品的楷模。張士簡的辭賦，周升邈的論辯，也都屬於高手，很難再次遇到。文章沒有衰落，必定會有英才，其中的領袖人物，非賢弟還能有誰！常常想作討論，無人可以交談，想念我的子建，與你共同商榷。辯明文學的清澈與混濁，讓它能如同涇水和渭水，這樣論人物，頗似汝南王。紅白已經判定，評論有所不同，使那些身懷鼠技的人知道慚愧，濫竽充數的人自感恥辱。相思不見，多麼憂傷！」
後來簡文帝即位，以庾肩吾為度支尚書。當時上游的藩鎮，都憑據州城抗拒侯景，侯景假傳詔令讓庾肩吾出使江州去勸說當陽公蕭大心。蕭大心投降了賊軍，庾肩吾於是逃到了東部。後來賊將宋子仙攻下了會稽，懸賞抓到了庾肩吾，打算把他殺掉，首先對他說：「我聽說你能作詩，現在可以當即作一首，如果能夠，就可以保全你的性命。」庾肩吾揮筆便寫成了，辭采極美，宋子仙便放了他，讓他做建昌令。他於是從小路奔往江陵，曾擔任江州刺史，兼義陽太守，封為武康縣侯。死後，贈他為散騎常侍、中書令。他的兒子名叫庾信。