何胤字子季，過繼給了叔叔何曠，所以改字叫季叔。八歲時，居喪，哀傷超過成人。等長大後，輕薄不羈，很晚的時候才自強好學，以沛國劉王獻為師，學習《易》和《禮記》、《毛詩》。又入了鍾山定林寺去聽內典，其學業都能通曉。而縱情曠放，當時的人們卻不知道，只有劉王獻和汝南周..深深地驚異和器重他。
在齊國做官擔任建安太守，為政有恩德信譽，人們不忍相欺。他常常在伏日和臘日放囚犯回家，都能按時返回。
他曾歷任黃門侍郎、太子中庶子。尚書王儉接受詔令撰寫新禮儀，沒有寫完就死了。又派特進張緒把它續成，張緒又死去，便交給了司徒竟陵王蕭子良。蕭子良又讓給了何胤，於是設置了學士二十人，幫助何胤進行撰錄。
後來，何胤以國子祭酒的身份與太子中庶子王瑩一起為侍中。當時何胤單做祭酒，懷疑所穿的衣服。陸澄博通古事，也沒找到依據，於是便穿著黑色衣服臨場監考。此後又進行詳細討論，乃用紅色衣服，祭酒穿紅衣，就是由此開始的。
後來鬱林繼承皇位，何胤屬於皇后家族，所以很受親近。做了中書令，兼做臨海、巴陵王師。何胤雖然顯貴，卻常常想著止足。建武初年，他已經在郊外建了房子，經常與徒弟到裡面遊玩和居住。到了現在於是便想賣掉園宅東去。還沒有出發，就聽說謝紻免了吳興郡的職務不再回來，何胤恐怕落在他後面，便上表辭職，沒等回答就離去了。明帝大怒，指使御史中丞袁昂奏表拘捕何胤。不久又下了詔書釋放了他。
何胤因為會稽的山多有靈異，便前往旅遊，住在若邪山雲門寺。起初，何胤的兩個哥哥何求、何點都隱遁起來，何求先死，到現在何胤又隱居，世人稱何點為「大山」，何胤為「小山」，也叫「東山」。兄弟發跡雖然不同，最終都是隱居，世人稱為何氏三高。
永元年間(499～501)，他被徵召為太常、太子詹事，都沒有到任。梁武帝的霸朝建立，引他為軍謀祭酒，並且給他發了聘書，沒有前來。等武帝登基，詔令他為特進、光祿大夫，派領軍司馬王杲之帶著手詔去傳達意旨，並同時徵召謝紻。
王杲之先到了何胤的住所，何胤恐怕謝紻不出，先是表示可以起身，便穿著單衣，戴著鹿皮巾，手拿經卷，下床跪拜接受。詔令他出山，他卻坐在席上低頭讀書。何胤於是便對王杲之說：「我從前在齊朝想提出三兩條建議：一是想校正郊丘，二是想另鑄九鼎，三是想建立雙闕。世上傳說晉室想要立闕，王丞相指著牛頭山說：『這就是天闕，』這是他不明白立闕的意義。闕，是指象魏，把法令掛在上面，十天後收下。像的意思是法，魏的意思是位於路口而且高大的樣子。鼎是神器，有國家首先就要有它。圓丘和南郊，舊典中並不相同。南郊是祭祀五帝靈威仰之類，圓丘是祭祀天皇大帝、北極大星的。以往的朝代合為郊丘，是前輩儒者的巨大失誤。現在梁德宣告開始，不應該因循前朝的謬誤。您應該向朝廷說明。」王杲之說：「在下鄙劣，豈敢輕率地議論國家典章，這應當敬候叔孫生前來呀！」
王杲之從謝籫那裡回來，問何胤的出山日期。何胤知道謝籫已經應召，回答王杲之說：「我年紀已經五十七歲，一月吃不完四斗米，怎能再有做官的心情？」王杲之失色不能回答。何胤反過來又對他說：「您何不派人傳詔回朝奏表，留下來與我同游呢？」王杲之愕然地說：「古今沒聽說有這樣的例子。」何胤說：「《檀弓》兩卷，都是講事物的開始。從您開始，何必要有先例？」何胤、謝籫，都是前代的高士，何胤的名譽尤其高邁。
王杲之回去後，把何胤的意思上奏，皇帝詔令供給他白衣尚書的俸祿。何胤堅決推辭。又詔令山陰把官庫中的錢每月供給他五萬，何胤又不接受。於是便詔令何子朗、孔壽等人在東山跟他上學。太守衡陽王蕭元簡深深地加以禮敬，每個月中常常乘車登門拜訪，談論終日。
何胤因為若邪山所處的地方狹小，容不下學徒，於是遷到了秦望山。山上有飛泉，便建起了學舍，以樹林為外援，就山崖做圍牆，另外建了一座小綁室，住在裡面，親自開關門戶，僮僕都不能進來。山旁種田二頃，講課之餘就由學生跟著遊覽。何胤起初遷來將要築室的時候，忽然看見兩個人戴著黑冠，容貌偉岸，問何胤說：「您想住在這裡嗎？」便指著一處地方說：「此處特別吉利。」忽然又不見了。何胤依照他們的話作了選擇。不久山上發了洪水，樹木石頭都被倒拔，只有何胤所住的房子獨存。蕭元簡便讓記室參軍鍾嶸作了一篇《瑞室頌》，刻在石頭上作為表揚。
後來蕭元簡要離開會稽郡，入山與何胤告別。何胤送他到都賜埭，離郡三里，於是說：「我自己棄絕了人事，交遊的道路斷絕，不是您貴人降臨山林，哪會重見城鎮。此地的遊覽，從今就要斷絕了。」握著手流下了眼淚。
何氏過江後，從晉朝的司空何光開始，都葬在吳地的西山。何胤的家世年齡都不長久，只有祖父何尚之活到七十二歲。何胤的年齡趕上了祖父時，便遷移回到了吳地，作了《別山詩》一首，言辭十分淒愴。
到了吳地，他住在武丘山西寺講述經論，學徒們又隨他前來。東部的郡縣官員路過的，無不全部前來。何胤常常禁止殺生，有個虞人追逐一隻鹿，鹿徑直跑到何胤跟前，趴下不動。又有一隻奇異的鳥像是鶴，紅色，聚集在講堂裡，馴順如同家禽。
起初，開善寺的藏法師與何胤在秦望山相遇，後來回到了京城，死在鍾山。臨死的那天，何胤在波若寺見了一個僧人，送給何胤一個香爐匣和一盒子書，說：「貧道從揚都出發，呈給何居士。」說罷便不見了。何胤打開盒子，乃是《大莊嚴論》，世間未有。查訪這個香爐，原是藏公所曾用的。又在寺內立了明珠柱，柱便七天七夜放光。太守何遠把這種情況啟奏了昭明太子，太子欽佩他的德行，就派舍人何思澄送上了手令對他進行讚美。中大通三年(531)去世，享年八十六歲。
在此以前，何胤曾經生病，妻子江氏夢見神告訴她說：「你丈夫的陽壽已盡，既然有了大德，應該獲得延期，你要去代替他。」妻子醒了敘說了夢中的情景，很快就得病而死，何胤的病卻好了。到現在何胤夢見了一個神女和八十來個人，都穿著交領的喪服，排列在面前，一起跪拜在床下，醒了以後，又一次看到，於是他便讓人安排喪事。隨後就病重不再好轉。
起初，何胤奢侈於美味，吃飯必定要大量菜餚，後來逐漸想去掉那些太過分的，仍然是吃白魚、鱔脯、糖蟹，還認為是見不到生物。他對吃蚶蠣有懷疑，就讓門人進行討論。學生鍾禕說：「鱔魚取艾，驟然屈伸，螃蟹沾糖，躁動更甚。仁人心意，深懷憂傷。至於車鰲蚶蠣，眉目內陷，可悲渾沌得出奇，粗殼外裹，無需金人的謹慎。不衰不盛，連草木也不如，無香無臭，與瓦礫有何異！所以應該長久地供應廚房，永遠地作為食品。」竟陵王蕭子良見了鍾禕的議論大怒。汝南的周..給何胤寫信，勸告讓他吃菜，說：「變化最大的，莫過於死生，活著最重的，無過於性命。性命對於它們極其迫切，滋味對於我們可以鬆緩。如果說關於過去、現在、未來三世的理論虛假，則十分幸運愉快，如果這種現象果然存在，而托生不止，一往一來，生死成為常事，那麼令人傷心的慘狀，自己也將會遇上。先生對於血氣之類，雖然沒有親自動手，但是早晨野鴨，晚上鯉魚，不能不從屠宰者那裡取來。財寶經過了賊手，還為廉士所拋棄，生命遭受了刀割，難道慈者能忍心？騶虞雖然飢餓，但不是自己枯死的草不吃，聽到了它的風格，豈不讓人多有慚愧？先生早就懂得了這些道理，我只是說上幾句提醒一下罷了。」所以何胤晚年便斷絕了血味。
何胤注《百論》、《十二門論》各一卷，注《周易》十卷，《毛詩總集》六卷，《毛詩隱義》十卷，《禮記隱義》二十卷，《禮答問》五十五卷。他的兒子何撰也不做官，有高尚的風範。