皇甫遇，常山人。父親皇甫武，流離寓居太原，曾任遮虜軍使。皇甫遇小時喜好勇武，到年長時，鬚髮捲曲，善於騎馬射箭。後唐明宗還在藩鎮時，把他收留在部下，歷次跟隨作戰，屢建功績。明宗即位後，升為龍武軍都指揮使，遙任嚴州刺史，出征東川，擔任行營左軍都指揮使。應順、清泰年間，歷任團練防禦使，不久遷任鄧州節度使。所到之處，為官苛刻暴戾，以殺戮搜刮為要務，幕客多私下離去，以逃避他的牽累。
晉高祖進入洛陽後，皇甫遇移鎮中山，不久朝廷聽說他與鎮州安重榮結為親家，便調任他鎮守上黨，又改鎮平陽，都是因為用小人主事，政事敗壞混亂的原因。到鎮守河陽時，在所轄境內建造別墅，開掘泉水，以用來灌溉，所經過的墳墓，全部加以毀壞，境內百姓因朝廷正姑息州郡主帥，沒有誰敢上訴。少帝即位後，他罷官回到朝廷。開運二年，契丹南犯，皇甫遇跟隨少帝到了澶州，在鄆州北渡口發生戰爭，契丹大敗，淹死的有幾千人，因功被任為滑州節度使。
開運三年(946)，契丹國主率兵進駐邯鄲，皇甫遇與安審琦、慕容彥超等前去抵禦。皇甫遇將要渡過漳河，契丹先頭部隊大軍殺來，皇甫遇向後撤退，轉戰二十餘里到達鄴都南面的榆林店。皇甫遇對安審琦等說：「敵眾我寡，逃跑就沒有活路，不如血戰一場。」於是從辰時戰到未時，打了一百多個回合，受傷的兵士非常多。皇甫遇的坐騎也中箭死去，他的隨從杜知敏把戰馬給他，皇甫遇得馬後又投入戰鬥，戰了很久，形勢才逐漸緩解。杜知敏已被敵軍俘獲，皇甫遇對慕容彥超說：「知敏在危急之中，把戰馬給了我，這是義舉，怎能讓他落在敵人手中！」於是與慕容彥超躍馬奪取杜知敏而回，敵人騎兵都欽佩他們的勇壯。不一會兒剩下的軍隊又與敵人合戰，皇甫遇不能解脫。當時安審琦已經到了安陽河，對統帥張從恩說：「皇甫遇等沒有回來，一定是被敵人騎兵包圍了，如不馬上援救，則要被俘虜了。」張從恩說：「敵軍勢氣正盛，沒有誰可以抵抗，將軍獨自前往有何益？」安審琦說「：成敗是命中注定的，假若不能成功，就與他一同死去，如果失去了這二位將領，將以何面目去見天子！」
於是率領鐵騎向北渡河奔去解圍。契丹軍隊看見塵土飛揚，以為是援軍大量來到，便引兵退去。皇甫遇與慕容彥超多處受傷，但得以生還，當時各軍將士感歎說「：這三人都是猛將啊！」皇甫遇歷官至檢校太師、同中書門下平章事。
開運四年(947)，契丹又南侵，皇甫遇跟隨杜重威經營滹水一帶，杜重威與契丹講和，皇甫遇沒有參與其中，到投降契丹後，心裡極為不平。當時契丹國主打算派皇甫遇先進入汴州，他推辭了，還私下對人說「：我身蒙國恩，位兼將相，既然沒有死在戰場上，又有何面目以見舊主！反而接受偽命來圖謀他，我不忍心。」第二天，走到趙郡，止歇在縣捨中，他看著跟隨的人說「：我已經二天沒有吃飯了，病得很重，君王受辱則為臣者當死，我不再南行了。」因此切斷自己的咽喉而死，遠近的人聽說後都認為他有節義。後漢高祖登上帝位，下詔追贈中書令。
後周廣順三年(953)一月，皇甫遇的妻子宋國夫人霍氏上奏，請求度為尼姑，周太祖准允了，並賜紫衣尼服，賜號貞范大師，法名惠圓，又賜僧齡十年。