皇甫謐，字士安，幼名皇甫靜，是安定朝冉人，漢代太尉皇甫嵩的曾孫。過繼跟著後叔父，遷居到新安。二十歲還不好學，東遊西蕩沒有節度，或認為他是白癡。曾經得到瓜果，便送給後叔母任氏。任氏說：「《孝經》上說：『雖用三牲奉養，如果讓我們擔憂，還是不孝。』你現在二十多歲，目不存教育，心不納道義，沒有什麼能安慰我。」於是感歎道：「從前孟母三次遷居使孟子成仁，曾參的父親殺豬以行教誨，究竟是我居住時沒有選擇好鄰居哩，還是教育缺少方法呢？為什麼你愚鈍得這麼厲害呢？修身心重學業，是你自己得到好處，對我有什麼呢？」因而對著他流淚。皇甫謐於是感動激憤，到同鄉人席坦那兒讀書，勤奮不怠。家中貧窮，親自耕種，帶著經書務農，於是博通典籍和百家之言。皇甫謐沉穩閑靜清心寡慾，開始有了高尚之志，以著述為務，自號為玄晏先生。著有《禮樂》、《聖真》論。後來得了手腳麻木之症，還是手不釋卷。
有人勸皇甫謐修名聲廣交遊，他卻認為不是聖人誰能夠做到入仕和隱居並存呢？居在田里之中也可以堯舜之道為樂，又何必崇尚世利，煩勞於官事，然後才成名呢！」便作《玄守論》來回答。論中說：
有人對我說：「富貴是人們所希望的，貧賤是人們憎惡的，為什麼等著自己受窮卻不改變呢？況且道所看重的是治世；人所讚美的是逢時。先生你年邁齒變，饑寒不能贍養，老死溝壑之間，又有誰知道呢？」
我說：「人所最珍惜的是生命；道所必定保全的是形體。生命形體所不能侵犯的是疾病。如果擾亂全身之道而損害性命，怎麼能擺脫貧賤保存自己的慾望呢？我聽說拿別人的俸祿就要為別人憂慮，身體強壯的人尚且受不了，何況我是體弱多病呢？再說貧困是士之常情，卑賤是道之事實，處在常情合乎事實，到死不憂慮，跟煩勞精神得到富貴相比哪個更好呢？另外活著不被人知道，死去不被人歎惜，是最好的了。啞巴聾子這種人，是天下最有道的了。一個人死了天下都慟哭，認為是損失，一人活著四海都高興，認為是補益。然而悲傷和高興都不能對生死有所補益。因此至道不會減少，至德不必增益。為什麼？它本體充實。如果運轉天下人的思念來追尋損生的災禍、增廣沒有補益的疾病，哪算是最高的道德呢？只有無損，才是最堅固的了；只有不增益，才是最厚實的了。堅固所以最終才不能使他減少，厚實所以才最終不能使他瘠薄，如果能領悟到堅厚的實質，處於不薄的本性，立於損益之外，游離於形骸之外，那麼我的道就完滿了。」
於是不做官。沉溺於學習典籍，廢寢忘食，當時的人稱他為「書婬」。或有人告誡他過分篤學，將會損耗精神。他說：「早晨得知真理，晚上死去也可以，何況壽命長短是上天注定的呢？」
皇甫謐的叔父有了兒子，已經二十歲，到他四十歲時死了後母，於是他返回本宗。
城陽太守梁柳，是皇甫謐父親叔伯姐妹的兒子，要上任時，別人勸他為梁柳餞行。他說：「梁柳當百姓時拜訪我，我送迎不出門，吃的不過是醃鹹菜，貧窮的人不用酒肉為禮。現在他當郡守我去送行，這是看重城陽太守的職位而輕視了他梁柳這個人，哪裡合乎古人之道呢？這不是我能心安理得的事。」
當時魏郡召為上計掾，推舉當孝廉；景元初年(260)，相國徵召，他都不應召。後來鄉親勸他接受任命，他為此作了《釋勸論》來表達志向。其辭說道：
相國晉王司馬昭徵召我等三十七人，等到泰始年(265)司馬昭受禪登基，一同受命的人沒有誰不到朝廷，都拜為騎都尉，或者賜爵關內侯，進宮侍奉朝見，享受侍臣的禮遇。只有我疾病困擾，沒趕上國家的寵幸。同宗的父老兄弟和我的同僚，都以為是天下大慶，百姓依賴之世，即使不能成禮，也不應該安睡，縱使病重，也合當出仕。我考慮到古今聖明君主的禮制，無論大小事情，都按實情決斷，我實力不能擔負重任，哪是怠慢呢？於是我病臥在床上感歎道：「進取是自身的光榮；退隱，是命運中的實情。假使我沒有疾病，持有高尚的隱居不仕的節操，尚且可以被寬容，何況我的確病勢沉重呢？所以堯舜的時代，士人中有的收斂隱居的形跡，有的為國事過家門而不敢入。皋陶這些人之所以兩遂心願，是遇到了好時代。所以朝廷重視致力為國的臣子，民間讚美保全志向的士人。他們到底是什麼人呢？方今聖明的帝王興起，名聲與前哲匹配，仁道不遠，也應該如此啊！客人或用常理逼迫我，或為我違背世事而憂慮。我認為朝廷有寬厚聖明的君主，下面一定有接受旨意的人，天網恢恢，入仕與否是一樣的，對入仕還是隱居又有什麼可怨呢？」於是研究賓客主人的論點，解釋別人的責難，名叫《釋勸》。
客人說：「聽說上天有日月星辰以顯示光明；大地蘊藏神靈，以吐生萬物。所以黃鐘依次排列，律呂形制不同。因此春天百花開放，夏天果實纍纍，秋天涼風除暑，冬天結成冰霜。人的規律相同，順應玄機而發。天地人三才相連獲利，如同符契相合一樣明白。所以士人中有的一同仕於唐堯，有的事先感悟於有莘氏，有的托夢感動國君，有的放下渭水濱的釣竿，有的敲著牛角打動齊桓公，有的脫下褐衣當秦國宰相，有的不顧謗議而安定鄭國，有的乘坐馬車拯救艱難，有的鋪荊坐地以求友，有的借助道術於黃石公。所以才能夠龍騰虎躍，出類拔萃，技超群輩，揚高聲奮遠威，奏出宇宙清越的聲音。由此看來，仕進行德貴在及時，為什麼屈居在此而不施展呢？現在你憑著超群出眾的才智，精心研習六藝經典，摯意探求眾妙之門也有年月了。既然遇到皇帝禪位的朝廷，又值投身仕宦的時刻，委身聖明的君主，與知己之人共處，時世清明治道純真，可以高飛，這真是我們洗髮雲漢、鴻鵠高翔的時代。而你藏匿光彩追求林藪，內含美質卻未顯示，飛龍潛藏於九泉，固執地堅持自己的高節，拋棄通向康莊之路的途徑，保守耿介之人的小節，不是也跟道的旨趣乖謬了嗎？
「再說我聽說北斗轉動則天位正，五常之教排定順序則人理定。如今王命懇切周至，交給有司考慮，如不受命，在上招致違背君主的牽累，在下招致驚擾眾人的懷疑。通達之人以齊同為貴，你何必獨自不同？群賢能依從，你何必獨守初衷？如今同時受命的都已來到，如同飢餓不等就餐，便在仕途上顯揚文采，都已位至天官。而你卻獨自滯留在隱居之所，放浪形骸於世外，退隱於家園，不瞧一眼美好事物，恩惠不施於人，行為不合於道，身遭大禍，性命難保。如果太陽神羲和快馬加鞭，等到大火星西墜時，你再臨川恨晚，還能補益什麼！重視光陰輕視璧玉，是聖人所約定的，《詩經》上說『顛倒衣裳』，表明有所規勸。你應明察先哲的楷模，符合聖明朝廷的誠心，靈翼衝向雲天，天池沐浴龍鱗，推開宮門，步入宮廷，登上玉階，陪伴帝君，會迅速變得光彩照耀，更有許多流風餘韻。你輔佐唐虞那樣的君主，教化堯舜那樣的臣民，宣揚棄置刑法而不用的政治，匹配殷周那樣的大臣，記功於大鐘，並立秩序常倫，活著享受鐘鼎之食，死後成為顯貴之臣，不也美好嗎？而你卻忽視金銀的光輝，忘卻官服的燦爛，辭去光彩的容服，守著舊布粗衣到老，不也太辛苦了嗎？」
主人我笑著回答說：「唉，你們可以說是只見艷麗的外觀，卻沒看到隱士的形跡；只見世俗人不被容納，卻不明白聖君的兼愛；只知道按規矩尺寸求方圓，卻不知道大形體無邊無際。所以說，天空玄黃而清徹，大地寂靜而安寧，包含萬類，廣被群生，寄身聖世，依托天道神靈。如同春天陽氣散發，冬季陰氣凝聚，泰液池蘊含光彩，太極元氣渾然蒸騰，眾人仰慕造化，大制徵兆不同。所以入仕的人享受天祿，隱居的人安於丘陵。因此寒暑冬夏遞相推衍，四個星宿遞相居中，陰陽不用治理，運行變化無窮，自然安排確定，能夠兩全其美。二物都靈驗，這才叫大同；彼此無怨恨，這才叫至通。
「到了衰落的周朝末年，看重欺詐，輕視誠信，為權力所牽制，憑財利求殊榮。所以蘇秦出來遊說而六國合縱，張儀入秦而連橫勢成，廉頗活著而趙國受尊重，樂毅離去而燕國被輕視；公叔痤病死而魏國衰敗，孫臏在魏國受刖刑而齊國安寧，范蠡文種被親附而越國稱霸，屈原遭流放而楚國傾覆。因此國君沒有固定的法令，臣屬沒有固定的美名。損害仁義廢棄誠信，或衰亡或興盛。所以馮諼彈劍感動孟嘗君，子家子有返還賞賜的說辭，項羽施展拔山之力，蒯通陳述鼎足三分的形勢，東郭先生被田榮劫持，顏闔因為被魯君逼著入仕而羞恥。這些都是拋棄禮義喪失本真，只是以一朝一夕的急難為榮，哪裡是推行大道的根本呢？
「至如聖明的國君創製化物，讓德行跟二皇參同，使風俗跟虞夏齊一，要溫溫和順，不要斤斤明察；要混混不息如深泉，不要浩浩蕩蕩而顯名；要鬆散而無拘束，不要向刻契那樣為繩打結；要茫茫而無邊際，不要區區而細分別；要渾然樸實而文采日益清楚，不要一下子顯示出冰雪之白，要厚道地任用德政，不要瑣碎地執行苛法。因此，抓住時機者行動有成，喜歡隱遁的人無所逼迫。所以說，一明一暗，得道的標準；一張一弛，符合禮義的常規；一浮一沉，一併得到它的本真。所以君主有勤勞謙虛的愛好，下面就有不求名譽的臣子；朝廷有聘用賢能的禮節，郊野就有逃竄躲藏的小人。因此支伯以幽疾為由拒絕了唐堯，而老子在西郊寄托蹤跡，顏回安於陋巷以成名，原思把十分貧困當作歡樂，榮期用三首樂曲感動孔子，黔婁憑布衾身份獲得謚號，段干木守道不仕而能保存魏國，荊萊志向高遠向江崖，嚴君平憑占卜而道術顯著，四皓在洛水之濱潛藏至德，鄭真靠躬耕獲美譽，幼安能向今人發佈號令，這些人都持有難以改變的節操，守住不改變的旨意，遇到超群拔俗的國君，才保全了他們的志向。所以如果有獨自能決定的計策，就不用同眾人一道商量；能守住不動的安定，就不用同眾賓謀慮。所以能夠拋棄外表的豪華，疏通內心的真道，除去顯赫的明路，步入昏昏的塵埃，宛轉各種情狀的容貌儀表，排解空寂來寄身，安居無事之宅，結交放棄名利之人。輕如鴻毛，重如湮滅，不能減少什麼，測量它會更加幽深。真是我們這些人的師表，也是我迅疾奔走不能達到的。你們議論我失去常理驚駭眾人。我也奇怪你的直論不夠折中。
「才能不適用，是眾人所指斥的，我臥病多年，是朝廷所遺棄的，因此胥克因蠱疾而被廢棄，左丘明就記載下來；伯牛有病，孔子為他感歎。黃帝在演九經中創立典制，岐伯剖腹除掉腸子，扁鵲到虢國而死人回生，文摯為齊王徇命，醫和在秦國晉國顯露醫術，倉公在漢代探求到醫學秘密，華佗以獨特的見識保存了醫學精髓，張仲景的藥方精妙絕倫；只遺憾我活著沒見到這種人，所以向明主請命訴苦，請求研究失傳的學問。的確我活得太辛苦，希望誠心能降霜露，所以待罪而窮居。」
此後晉武帝頻頻下詔書敦促不已，皇甫謐上疏自稱為草莽臣，他說：「我因衰病疲睏，迷戀於學術旨趣，因病而棄官隱退。逍遙於山林，人倫綱紀沒放棄，與鳥獸為群。皇上選拔人才，並收草莽之士。因此皋陶選作司法官，不仁的人遠遁。我雖然愚鈍瞑頑，但備受晉朝的恩德，還是知道唐堯時的人擊壤之樂，本應該奔赴京城，在闕外向皇上稱壽。可是我命運不好，招來災禍，長久地被重病纏繞，半身麻木不仁，右腳偏小，十九年了。又因飲用寒食藥，超過節度，辛苦荼毒，到現在已經七年了。數九寒冬袒露身體飲冰，三伏酷暑煩悶不堪，外加咳嗽氣逆，有時像熱瘧疾，有時像傷寒病，浮躁不堪，毒氣下流，四肢浮腫酸痛。於今身體虛弱，救命於頃刻之間，父兄不忍出行，妻小長言訣別，但迫於皇威，勉強挾持上路，疾苦加重，不能前進，只好委身待罪，躺在床上歎息，我聽說韶樂衛風不能一齊奏，雅樂和鄭風不能並行。所以谷子到周室，災禍延及王叔；虞丘稱賢之時，樊姬就閉口不言。君子和小人，行禮器具不同，何況我是才智低下，又怎能混雜在賢臣之中呢？庸夫穿錦衣，與他的服飾不相稱。我私下聽說同時受命之士都已到齊，只有我有疾病，在床蓐負罪，雖然貪戀明主之時，卻懼怕死在路途。假使我沒有病，現在又已遇到堯舜之世，那麼我堅守隱逸之志，也會被容許。我聽說上有聖明的君主，下面就有敘述情委的人。希望皇上留意原諒，另外，褒揚傑出才士，到傅公巖求隱士，到謂水邊尋釣者，不要讓渣滓長期玷污了清流。」皇甫謐言辭懇切備至，於是朝廷同意。
一年後，又推薦為賢良方正，都沒就任。自己上表向皇帝借書，皇帝送給他一車書。皇甫謐雖然身患重病，但閱讀書籍不懈怠。當初服用寒食散，藥性與病相牴觸，常常病得不像人，曾悲憤至極，想引刀自殺，經叔母勸諫才停止。
濟陽太守蜀人文立，上表認為任命士人有煩瑣的贄禮，請求除掉這種禮節贄幣，下詔同意了。皇甫謐聽說後感歎到：「亡國的大夫不能同他商量謀劃保存國家，竟然要革除歷代的禮制，可以嗎？『束束布帛堆成堆』是《易經》上明確的禮義，用黑色和淺紅色的布帛為贄，自古有之。所以孔子說早晚努力學習禮等著別人詢問，用席上的珍寶以待聘用。士因此要行三次揖讓禮才能進見，說明進見之難；謙讓一次就告退，說明辭去太容易，至如商湯對伊尹，文王對姜太公，或親自到莘野，或立即同車而歸，惟恐禮節不重，又哪能吝惜禮節周到的費用呢？再說一個禮節不周到，貞節的女子也會感到恥辱，何況任命賢士呢？孔子說：『子貢呀，你可惜那隻羊，我可惜那種禮。』贄禮為什麼要拋棄呢？朝政失去賢人，在這方面就體現出來了。」
咸寧初(275)，又有詔書說：「男子皇甫謐沈靜有素，堅守學業愛好古籍，與流俗旨趣不同，任命他為太子中庶子。」皇甫謐堅決推辭說病重。天子起初雖然不勉強他，不久卻又下詔征他為議郎，後又下詔補為著作郎。司錄校尉劉毅請求任命他為功曹，他都沒應召。撰寫論文談葬送之制，名叫《篤終》，其文說：
我認為生存死亡是天地的定制，人理必定會如此的。所以古禮到六十歲就制辦壽具，直到九十歲，各有等級差別，這是防終的常法，難道是流俗多有忌諱嗎？我雖未到制辦壽具的年齡，但是疾病長年纏身，連遭喪難，神氣虧損，疲病到極點了。時常擔心早期夭折，恐怕不能壽終，因此粗略地陳述我的心懷。
人所貪求的是生存，所憎惡的是死亡。雖然貪求，卻不能延長生命，雖然憎惡，也不能逃遁死亡。人死後精神形體消散，魂魄無處不到，所以精氣歸向上天；依托的性命完結，形體返回本質，所以屍體埋在大地。因此精神沒有形體，就與精氣一同升降；屍體不能長期保存，與大地合為一形。形神不隔斷，是天地之本性；屍體與大地合併，是返回本真的道理。如今我活著不能保護好七尺身軀，死後又何故要用一個棺材隔離土地呢？如此說來衣食是用來玷污屍體的，棺槨是用來隔離本真的，所以桓司馬以為做石棺還不如死後速朽，季孫氏的美玉陪葬跟暴露形骸相同；宋文公厚葬，《春秋》認為華元不像臣子；楊王孫裸葬，《漢書》認為他比秦始皇賢能。假如魂魄有知，那麼人鬼禮制不同，黃泉的親族，死者多於活人，一定會準備各種器物，等待後死之人。現在如果以生存比況死亡，不是靈驗的主意。如果死者無知，則白白奪走活人的財用，活人的財物減少而沒有益處，卻誘發了奸邪之心，這是招致暴露形骸的災禍，增加對死者毒害的辦法。
埋葬就是收藏，收藏就是要人們看不見。如果做大大的棺槨，準備許多財物，無異於把金子埋在路邊並在上面寫好標牌。即使最愚蠢的人，也一定會譏笑。用豐盛的財物厚葬而開導了奸邪之心，有的剖開棺槨，有的牽拽形骸，有的剝去衣服捋下胳膊上的金環，有的摸著腸子找珠玉。就算焚燒屍體，也不會比這更讓人痛心。從古到今，沒有不死的人，也沒有不被盜掘的墳墓。所以張釋之說：「假使墳墓有引起貪慾的財物，即便固若南山還會有縫隙；假若墳墓中沒有引起貪慾的財物，就算沒有石槨，又有什麼值得憂戚呢？這話正確啊，真是我們的老師。贈送死者的禮物加厚，不是厚待了死者，而是活著的人自己的作為。順從了活人沒有益處的意願，拋棄了死者應有的歸屬，這是聰明的人所不做的。《易經》上說：「古代安葬，用柴草當衣服，安葬在山野，不壟土不樹碑。」因此死後能返回本真，不會因安葬死者，而傷害活人。
所以我要早晨死晚上就安葬，晚上死早上就安葬，不設棺槨，不施纏布帛，不修沐浴，不制新衣，殯口含的珠玉一律去掉。我本想裸露著形體入坑，身體與土接觸，又怕人們習染風俗已久，立即改變很困難，所以現在粗略地定下葬制。奢侈不用石棺，節儉不露形體，氣絕以後，便拿出合時的服裝，戴幅巾穿舊衣，用粗竹蓆包裹屍體，麻繩捆住兩頭，放在床上。選擇不毛之地，挖個坑深十尺，長一丈五尺，寬六尺，坑挖好了，抬著床到坑邊，把屍體從床上抬到坑裡。平生之物，都不能隨帶，只帶《孝經》一卷，以示不忘孝道。粗竹蓆之外就可封土。填土與地平齊，種上原來的草，讓它在上面生長，不要種樹木，不要剷除地面，使之不留痕跡，無處尋找。看不到想要的東西，那麼奸邪之心就不生。始終沒有驚懼，千載不用憂患。形骸與后土同體，魂魄與元氣合靈，真是厚愛之至。如果有後來死亡的親屬，不要合葬。合葬從周公開始，不是古制。舜葬在蒼梧，他的兩個妃子沒有合葬，以此為定，何必用周禮。不要問師工，不要求卜筮，不要拘於俗言，不要張設神座，不要十五天內早晚上食。禮制不在墓地設祭，只是每月在家裡擺席祭奠，滿一百天就夠了。臨祭一定要在白天，不要在夜晚。服喪在家中常居，不要設廬守墓。古代不堆高墳墓，是明智的。現在堆墳植樹，真是愚蠢。如果不這樣做，就是在地下剖戮屍體，死後又加傷害。靈魂如果有知，就會含冤悲憤，長久地做個恨鬼，楊王孫之子，可以此為戒。臨死之誓難以違背，希望不要改變。
最終不入仕。太康三年(282)病卒，享年六十八歲。兒子童靈和方回等遵從他的遺命安葬。
皇甫謐所著的詩賦誄頌論等很多，又撰有《帝王世紀》、《年歷》、《高士》、《逸士》、《列女》等傳，《玄晏春秋》等，都受到世人重視。他的門人摯虞、張軌、牛綜、席純都是晉代有名的臣子。