斛律金，字阿六敦，朔州敕勒部人氏。高祖倍侯利，因強壯武勇而揚名塞外，隨道武內附，賜爵孟都公。祖父幡地斤，任殿中尚書。父大那瑰，光祿大夫、第一領民酋長。天平中，斛律金顯貴，贈司空公。
斛律金性格敦厚直率，善於騎馬射箭，行兵使用匈奴的辦法，望著飛揚的塵土能說有多少馬兵步軍，嗅地能知道軍隊已經離開這裡有多長的時間。初任軍主，同懷朔鎮鎮將楊鈞一道護送蠕蠕主阿那瑰歸北。瑰見斛律金射箭，感歎其本事高超。後阿那瑰寇掠高陸，被斛律金打垮。正光末年，破六韓拔陵作亂，斛律金領眾歸附，陵授給他王號。斛律金估計陵必定失敗，就帶領部屬萬餘戶前往雲州投降，隨即被委任為第二領民酋長。又慢慢統領部眾南移，出黃瓜堆後，被杜洛周擊敗，人員大都逃亡。金與兄平脫險，投奔爾朱榮。爾朱榮上表署金為別將，後升任都督。孝莊帝立，賜斛律金阜城縣男，加寧朔將軍、屯騎校尉。參加攻打葛榮、元顥等戰，多次立功，加鎮南大將軍。
在爾朱兆等人叛亂時，高祖就有了匡復之志，斛律金同婁昭、厙狄乾等協助成就大計，並隨同舉起了義旗。高祖南向攻鄴，留斛律金守護信都，兼任恆、雲、燕、朔、顯、蔚六州大都督，處理後方諸種事務。攻討李修，打敗了他，以功加右光祿大夫。於鄴地與高祖部匯合，跟隨著平定了晉陽，追擊打垮了爾朱兆。太昌初年，被任命為汾州刺史、當州大都督，升爵為侯。又跟著高祖在河西打敗了紇豆陵。天平初，遷都鄴城，高祖命令斛律金率領三萬步騎鎮守風陵，以防備西部的寇賊，事情結束，回晉陽。又隨著高祖參加了沙苑之戰，因失利而撤軍，於是東雍附近的許多城鎮再次為西魏軍所佔領。高祖派遣斛律金與尉景、厙狄乾等出兵將這些失地收復了過來。元象中，周文帝再次率兵大舉攻打河陽。高祖率眾抵抗，吩咐斛律金趕往太州，構成犄角之勢。金抵晉州，由於周軍撤退而中途改變計劃，即與行台薛修義一道圍攻喬山的敵寇。高祖很快趕到，喬山之敵被殲，繼而隨從高祖攻克了南絳、邵郡等數城。武定初，北豫州刺史高仲密舉城歸服了西魏。周文帝入侵洛陽。斛律金在高祖的調配下統領劉豐、步大汗薩等數萬步騎佈防河陽城進行防守。高祖抵達河陽，斛律金跟隨著打敗了高仲密。軍還，升任大司馬，改封石城郡公，食邑一千戶，轉任第一領民酋長。三年(545)，高祖分兵二路偷襲山胡。斛律金為南道軍司，率部從黃櫨嶺出發。高祖則親率兵馬從北道開拔，翻越赤襌嶺，兩路兵馬在烏突戍會合後，取得了偷襲的成功。軍還，斛律金出任冀州刺史。四年，詔令斛律金率眾走烏蘇道，前往晉州與高祖相會，隨同攻打玉壁。軍還，高祖命令斛律金總督兵眾，返回晉陽。
世宗即位，侯景佔據穎川投降了西魏，帝詔令斛律金帶領潘樂、薛孤延等固守河陽以防備侯景的進攻。西魏派遣其大都督李景和、若干寶領帶數萬兵馬，計劃從新城趕赴穎川援救侯景。斛律金率部停留廣武準備攔截李景和部，景和得知此消息後退兵了。斛律金從河陽返歸後，做了肆州刺史，依然統領所部在宜陽之地構築了楊志、百家、呼延三戍，並派兵把守，安置停當才赴肆州。侯景逃到南豫後，西魏的儀同三司王思政馬上進駐了穎州。世宗派遣高岳、慕容紹宗、劉豐等人率兵包圍了穎川。帝又詔令斛律金領眾督促彭樂、可朱渾道元等駐屯河陽，用來截斷王思政的退路。不幾天，帝調斛律金會攻穎川。奪回穎川後，帝又指派斛律金率部從萫阪送糧米到宜陽。西魏九曲戍將馬紹隆佔據險要之地攔擊金的糧隊，但卻被擊退了。因軍功另封為安平縣男。
顯祖受禪，封斛律金咸陽郡王，依然兼任刺史諸職。本年冬，朝晉陽宮，斛律金病，帝親自來他家探視，並賜給醫藥，還不斷派人慰問。病痊癒後回到肆州。三年，升任太師。帝征討奚賊，斛律金從行。軍還，帝親臨肆州，與斛律金宴飲歡聚之後才告別而去。四年，罷刺史職，以太師身份回到晉陽。皇帝又親幸其住宅，六宮以及諸王也一同前往，置酒作樂，直至深夜才告結束，帝極其欣喜，詔令斛律金第二子豐樂為武衛大將軍，並說：「公為佐命元勳，父子忠誠，朕當與公結為婚姻，永為蕃衛。」乃詔令斛律金之孫武都娶義寧公主。行聘禮的這天，帝跟著皇太后親臨其家，皇后、太子以及諸王等也一齊來了，這就可見皇上十分地親近敬重斛律金。
不久由於蠕蠕被突厥攻破，種落分散，擔心他們會侵犯邊塞，騷擾邊民，皇帝便詔令斛律金率兩萬騎兵屯駐白道進行防備。此時虜帥豆婆吐久備帶三千餘戶密謀西去，偵察的騎士回來報告後，斛律金率部追擊，一下子將其全部虜獲。蠕蠕但缽擬將舉國西徙，斛律金抓住他們的偵察騎士送往京城，並上表陳述可攻打蠕蠕的有利條件。於是顯祖率眾與斛律金等一同在吐賴伏擊，俘獲兩萬多戶而返歸。進位右丞相，食齊州干，遷為左丞相。
肅宗登基，納其孫女為皇太子妃。又詔令斛律金朝見，特許步挽車至階。世祖登基，禮遇更重，又納其孫女為太子妃。斛律金長子光為大將軍，次子羨及孫武都並為開府儀同三司，出鎮方岳，其餘的子孫均封侯而富貴顯達。斛律金家出了一皇后，二太子妃，娶了三位公主，尊寵之盛，當時哪家也趕不上。斛律金曾對光講：「我雖然沒有讀多少書，但聽說古時外戚梁冀等沒有不覆滅的。女若得寵，就會遭致嫉妒；女若無寵，天子便會嫌棄。我家一直是以建立功勳盡忠奉上來致富致貴的，豈可憑借女孩子的地位？」雖然多次推辭朝廷的賞賜，但卻無法拒絕，因此常為這些事憂愁。天統三年(567)去世，時年八十。世祖在西堂為其舉哀，繼而後主又在晉陽宮為之舉哀。朝廷賜假黃鉞、使持節、都督朔定冀並瀛青齊滄幽肆晉汾十二州諸軍事、相國、太尉公、錄尚書、朔州刺史，酋長、咸陽郡王等官爵如故，還賜錢百萬，謚號武，子光嗣繼。