皇甫誕字玄慮，是安定烏氏人。
他的祖父皇甫和，是西魏的膠州刺史。
父親皇甫王番，任北周隋州刺史。
皇甫誕年少時，稟性剛毅，有器度。
北周畢王召引他作倉曹參軍。
高祖文帝即位以後，皇甫誕作了兵部侍郎。
幾年後，出京城作魯州長史。
開皇年間(581～600)，又回到朝中作比部、刑部侍郎，都有賢能的名聲。
後調任治書侍御史，朝臣無不對他恭敬而又畏懼。
高祖因為百姓流亡很多，派皇甫誕任河南道大使，以約束流民，使他們遵守法度。
到返朝後，所奏之事符合高祖的旨意，高祖很高興，讓他兼任大理寺少卿。
第二年，升任尚書右丞。
不久，因母親去世而辭職。
喪期未滿，又奉命到職上任。
不久，轉任尚書左丞。
當時，漢王楊諒為并州總管，朝廷廣泛選拔人才當他的輔佐，前後任長史、司馬的，都是當時的名士。
高祖因皇甫誕以公平正直著稱，封他做并州總管司馬，總管并州府政事，凡事都要徵求他的意見，漢王很敬重他。
到煬帝即位，召漢王入朝，楊諒採納諮議官王支頁的計謀，發兵作亂。
皇甫誕屢次諫阻，楊諒都不採納。
皇甫誕流著淚說：「我料想漢王您的兵器物資，沒有哪一樣能抵擋京師軍隊的。
加上君臣的名份已定，謀反和擁護朝廷的情況不同，你兵馬雖精，也難以取勝。
希望您奉命入朝，恪守臣子的節操，一定會有赤松子和王子喬的長壽，幾代人的榮華。
如果再拖延，身陷叛逆，到時一上刑書，想做平民百姓也不可能了。
希望王爺您體察我的苦心，想一個萬全之計，我斗膽冒死請求。」漢王大怒，囚禁了皇甫誕。
後來楊素將至，楊諒屯兵在清源抵擋。
漢王的主簿豆廬毓放皇甫誕出了囚牢，與他合謀，關閉城門，不讓楊諒入城。
楊諒襲破城池，二人都守節而死。
煬帝因皇甫誕以身殉國，為嘉獎並悼念他，專門下了一道詔書，追贈柱國，封弘義公，謚號明。
皇甫誕的兒子無逸繼承了爵位。