顏師伯字長深，是顏竣的族兄。父親顏邵，剛正而有氣力，是謝晦的領軍司馬。謝晦鎮守江陵，請他擔任咨議參軍，兼任錄事，軍府事務全都委託給他。顏邵擔心謝晦會有禍患，請求擔任竟陵太守。還沒有到任，就趕上謝晦被討伐，顏邵飲藥而死。
顏師伯少年的時候孤獨貧困，涉獵群書，能解聲樂。弟弟顏師仲的妻子，是臧質的女兒。臧質做徐州的長官，聘任顏師伯為主簿。孝武帝掌管徐州，顏師伯仍然做輔國安北行參軍。王景文當時做咨議參軍，喜愛他的詼諧機敏，推薦給孝武帝，讓他做徐州主簿。他善於迎合，大受信賴。後來離開軍鎮，顏師伯以主簿送走了故人。
孝武帝鎮守尋陽，啟奏文帝請求讓顏師伯擔任南中郎府主簿，文帝不答應，對典簽說：「中郎府主簿，怎能用顏師伯？」孝武帝啟奏讓他擔任長流正佐，文帝又說：「朝廷不能任命他，我兒可以自己聘用，然而也不宜聘為長流。」於是聘為參軍刑獄。等後來討伐元兇劭，轉為主簿。
孝武帝登基，讓他做了黃門侍郎，逐步升為侍中。大明元年(457)，封為平都縣子。極受寵幸，群臣中沒有第二人可比。他大量納賄，家中累積千金。孝武帝曾經與顏師伯玩詂..，孝武帝擲了一個雉，非常高興，認為必勝。顏師伯隨後擲了一個盧，孝武帝不禁失色，顏師伯立即把子收起說：「幾乎是個盧。」這一天，顏師伯一輸百萬。於是陞遷為吏部尚書、右軍將軍。皇上不願意讓威權落在下面，前後主管選辟的人都只是執行文書，而顏師伯專情獨斷，所奏無不獲准。
大明七年(463)，他做尚書右僕射。當時分置兩個選辟機構，陳郡人謝莊、琅笽人王曇生同任吏部尚書。顏師伯的兒子舉薦和他交往的貧寒人張奇為公車令，皇上因為張奇資格不當，讓他兼任市買丞，以蔡惠道代替他。令史潘道棲、褚道惠、顏..之、元從夫、任澹之、石道兒、黃難、周公選等扣壓了給蔡道惠的詔令，讓張奇先到公車，不施行張奇兼市買丞的工作。顏師伯因為兒子干預公職而獲罪，謝莊、王曇生免官，潘道棲、褚道惠處斬，顏..之等六人杖打一百。顏師伯不久兼任太子中庶子，雖然被貶黜，而受信任仍如同從前。
孝武帝逝世，顏師伯接受遺詔輔助幼主，尚書省的事務專門委託給他。廢帝即位，又給他由代理改為實授，並且兼任衛尉。
顏師伯掌權日子久了，天下歸聚，常和他家來往的人，爵位無不超越本分。貪污納賄很多，家產豐厚，妓妾聲樂，儘是天下精華，園池宅院，冠絕當時社會，驕奢婬逸，為士大夫所憤恨。又改任尚書僕射兼丹陽尹。廢帝想親理朝政，轉任顏師伯為左僕射。以吏部尚書王景文為右僕射。除去了他的京尹職務，又分割了他的台省職權。顏師伯到現在才開始害怕，與柳元景謀劃廢立皇帝。
起初，顏師伯專斷朝廷事務，不與沈慶之商量，他對令史說：「沈公不過是皇上的爪牙，怎麼能參與政治事務呢？」沈慶之聽說後切齒痛恨，便洩露了他們的陰謀。不久他與太宰江夏王劉義恭一同被誅，六個兒子都被殺死。明帝即位後，追加謚號荒。