皇甫績字功明，安定朝那人。
祖父皇甫穆，魏國的隴東太守。
父親皇甫道，北周的湖州刺史、雍州都督。
皇甫績三歲就成了孤兒，為外祖父韋孝寬所養育。
他曾與諸位表兄下棋，韋孝寬因他懶於學業，對他很嚴，但可憐他是孤兒，年紀又小，特別原諒他。
皇甫績歎氣說：「我沒有父母教訓，養在外祖父家，如不克己律己，自我勉勵，怎能成人？」他十分激動，讓別人打他三十棍子。
孝寬聽說此事，對著他流淚。
他於是精心好學，略涉經書史書。
北周武帝在當魯公時，引皇甫績為侍讀。
建德初，他轉任宮尹中士。
周武帝曾在雲陽宮避暑，當時周宣帝為太子、監國。
衛刺王造反作亂，京城城門已關上了，百官多有逃遁者。
皇甫績聽說大難，急忙赴難，在玄武門遇上皇太子。
太子下樓來，拉著皇甫績的手，悲喜交集。
武帝聽說此事，嘉獎皇甫績，升他為小爆尹。
宣政(578)初，錄他前後功勳，封他為義陽縣男爵，授他為幾伯下大夫，累功轉任為御正下大夫。
周宣帝去世後，隋高祖總理萬機，皇甫績對此有功，這事記載在《鄭譯傳》裡。
升為上開府，轉任內史中大夫，晉爵為郡公爵，食邑千戶。
不久授他為大將軍。
開皇元年(581)，出京任豫州刺史，增加食邑，連前總共二千五百戶。
繼而授他為都官尚書。
幾年後，轉任晉州刺史。
將赴任，跪拜高祖說：「我實在平庸，見識淺，對國家無益。
因此常想赴難以報國家的大恩。
現在陳國還在，按我看來，有三個條件，可以滅他。」皇上問其緣故，皇甫績回答說：「以大吞小，這是一；以有道伐無道，這是二；接納陳國的叛臣蕭巖，對我國有供詞，這是三。
陛下若命鷹揚之將，我請求參加其中，出點頭髮絲那麼大的小力。」皇上嘉獎其壯志，慰勞他，而打發他去。
平定陳國後，授他為蘇州刺史。
高智慧等人在江南造反，蘇州州民顧子元發兵響應，因此讓他進攻皇甫績。
兩邊相持了八十天。
顧子元一向感激皇甫績的恩典，在冬至日，派人送上牛肉和酒。
皇甫績在給顧子元的信裡說：「皇上承受天命，與神靈相通，受禪於北周，拋棄干戈。
大隋國東邊超過了蟠木，東方朔也未去過；西邊包括了流沙，張騫都沒去過；北邊到黃龍府之外，與各酋長來往；南邊到了蔥嶺、榆關，那裡的百姓下跪，請求派官吏去治理。
金陵的百姓，死而復生；吳郡、會稽的臣民，白骨上又出生了肉。
你們只應感恩戴德，放聲歌唱，怎能夠自比瘋狗，反咬主人。
你不是我的臣民，何必盡上酒之禮？我是大隋國的將領，何必與你搞外交？即便是易子析骸，也未能相告，何況你是足食足兵，高城深溝，你只需坐待援兵，對付我就綽綽有餘了，何必勞你學著輕薄的風俗，說些假話，想阻攔我這個忠臣的心，白白地想迷惑我軍驍雄的大志呢？想用這些來指望我們放了你，那是不可能的。
你要好好地想想你的活路，並曉諭百姓，如能迷途知返，現在還不晚。」顧子元得到書信，就在城下叩頭認罪。
楊素的援兵也到了，合兵打破了叛軍。
授皇甫績為信州總管、十二州諸軍事。
不久因病請求退休，有詔調他回京，賜他御藥。
宮中的使者去看望他，絡繹不絕，相望於道。
在家中去世，時年五十二歲。
謚號叫「安」。
他兒子皇甫思繼承爵位。
大業年中(605～616)，皇甫思官至尚書主爵郎。