霍彥威，字子重，名州曲周人。梁將霍存在村落間得到他，十四歲，跟隨征討。霍存愛他豪爽雄邁，收為養子。霍彥威沒成年時被梁太祖所賞識，提拔在身邊服事，漸漸升武職，多立軍功。曾中過流矢，瞎了一隻眼。梁太祖開平二年(908)，自開封府押衙、右親從指揮使、檢校司空授任右龍驤軍使。三年，自右監門衛將軍授左天武軍使，遷右監門上將軍。乾化三年(913)，和袁象先一同誅殺朱友王圭，梁末帝授予他名州刺史，轉河陽留後。乾化末年，..州留後李保衡背叛李茂貞獻城歸順梁朝，梁朝任霍彥威為..州節度使。這年五月，李茂貞派將軍劉知俊率大軍攻打..州，霍彥威堅守一年多，始終不能攻下，有時抓到李茂貞的俘虜，霍彥威下令全部放走，秦人感謝他的恩惠，便不再侵擾。霍彥威轉任滑州節度使，移守鄆州，兼北面行營招討，總領大軍駐在黃河邊。部隊多次遭受失敗，降職任陝州留後。
唐莊宗進入汴州消滅梁朝，霍彥威從陝州趕到請罪，莊宗下詔釋放了他。一天，莊宗在崇元殿宴請各位將軍，霍彥威和段凝、袁象先等人都參加。酒酣時，莊宗舉起酒杯對明宗說：「這一席客人，都是我以前的勁敵，一旦和我同席喝酒，都是你前鋒的功勞了。」霍彥威等趴在階前謝罪，莊宗說：「和你們談談舊事，不必害怕。」賜給御衣、器幣，盡歡而散。不久放回藩地。
第二年，隨從明宗平定潞州，任徐州節度使。契丹侵犯邊塞。莊宗任明宗為北面招討使，命霍彥威為副使。霍彥威善於言談，頗能應接逢迎，明宗尤其看重他。趙太在邢州反叛，奉詔討平了他。這時趙在禮佔據魏州，與明宗在鄴下會師，大軍在晚上作亂，明宗被亂軍逼迫，霍彥威跟隨明宗進入魏州，皇甫暉等人尤其忌恨霍彥威，想殺掉他，霍彥威機智辯解，最後免於受害。從魏州出來後，只有霍彥威部下的士兵得以保全，護衛明宗到了魏縣。這時明宗想往北去常山，霍彥威和安重誨懇請他回朝廷，於是跟著明宗到了洛陽，霍彥威帶頭率卿相在至德宮勸明宗即帝位，十幾天內，內外機要事務都由霍彥威決定。擅自收捕段凝、溫韜下獄，將要依法處置，安重誨說：「溫、段二人的罪惡是有負於梁室，大家都知道。現在主上剛平定內難，希望安定萬國，怎麼能為自己報私仇呢！」至天成初年，任鄆州節度使，遇上青州王公儼抗拒命令，便改任平盧軍節度使，到藩鎮後，獲王公儼並殺掉。第二年冬天，四次到汴州進見，明宗接待很優厚，陞官到檢校太尉、兼中書令。三年冬天，死在青州任上，五十七歲。訃告送到那天，明宗正到近郊，忽然聽到訃告，哭著回宮，停止上朝三天，至月底不奏樂。冊贈太師、晉國公，謚號稱忠武。兒子霍承訓，弟霍彥珂，歷任刺史。北宋乾德年中，在洛州建立明宗廟，下詔以霍彥威配享廟庭。