胡威字伯武，一名貔，淮南郡壽春人。父親胡質，以忠厚老成公正廉明著稱，少年時與同鄉蔣濟、朱績都是江淮間知名人士，曹魏時官至征東將軍、荊州刺史。胡威早年就自勉立志向上。胡質任荊州刺史時，胡威自京都決定去省親，因家貧，沒有車馬僮僕，獨自驅趕一驢前往。每到客舍停下，親自牧放，親自打柴作飯，吃畢飯，又隨伴侶沿途前進。既到荊州，見了父親，住宿馬房達十餘日。告辭父親回家時，父親給一匹絹作行裝。胡威說：「大人廉潔高尚，不知在什麼地方得有此絹？」胡質說：「是我薪俸中節餘下來的，把它作為你的乾糧吧。」胡威接受了絹，告辭還家。胡質幕下都督在胡威告辭出發之前，請假回家，暗暗準備行裝盤纏在百餘里外等候，約胡威作伴同行，經常資助胡威。同行數百里，胡威生疑，有意誘問原因，終於明白了用意，便取出父親贈的絹給都督，申謝送別。後來托他人帶信告訴了胡質，胡質打了都督一百杖，革除了官職。他們父子廉潔慎重竟如此。於是名譽廣為人知。
胡威官授侍御史，經歷南鄉侯、安豐太守，陞遷為徐州刺史。勤於研究施政方法，教化之風盛行一世。
後進入朝廷，武帝談到往常，因而讚歎他父親廉潔，詢問胡威說：「你和你父親誰更廉潔？」胡威答道：「臣不如父。」武帝說：「你父親為什麼勝於你？」答：「我父廉潔恐怕人知其事，我卻惟恐人不知，所以臣差得很遠。」武帝認為胡威的話坦率而又委婉，謙虛而又順理。接連陞遷監豫州諸軍事、右將軍、豫州刺史，進入朝廷任尚書，加奉車都尉。
胡威曾向皇帝諫言指出時政過於寬鬆，皇帝說：「尚書郎以下的官，犯了錯誤我沒有原諒的。」胡威說：「臣所說的寬鬆，哪裡是指對丞郎令史等官，我是說對與臣同等的一批官也要嚴格，才可以嚴肅教化曉諭法制。」授任前將軍、監青州刺史，因有功封為平春侯。太康元年(280)，死在任上，追任為使持節、都督青州諸軍事、鎮東將軍，其他如舊，謚號稱烈。子胡奕繼承。
胡奕字次孫，官至平東將軍。胡威弟胡羆，字季象，也有幹才，被任用，官至益州刺史、安樂將軍。