薛胄字紹玄，河東汾陰人。
父親薛端，北周蔡州刺史。
薛胄小時就很聰明，每讀一些奇書，就通曉其中的意思。
他常常感歎那些作注的人沒有領會前人書中蘊含的深義，就用自己的理解來為之辨別、糾正，讀書人沒有不稱讚的。
他性情豪爽，立志於功名。
在周明帝的時候，他繼承了文城郡公的爵位，屢屢陞遷，升到了上儀同的官職，不久拜為司金大夫，後來又加授開府。
隋高祖受禪後，提拔他做了魯州刺史，沒去上任，任檢校廬州總管事。
不久又授為兗州刺史。
到任後，關押的數百名犯人，他審訊上十天就一一結案了，監獄裡空蕩蕩的。
有一個陳州人名叫向道力的，假充高平郡守，在他就要去上任的時候，薛胄在途中遇到了他，發現他有問題，想把他留下來追問。
司馬王君馥苦苦規勸，薛胄才讓他到高平郡去了。
走後不久，薛胄又後悔了，馬上派主簿去追趕拘禁道力。
有個在官署裡任職的人，名叫徐俱羅，他曾當過海陵郡守，在此之前已被道力代替了他，等到現在，十年過去了，官府和老百姓都不曾發覺。
俱羅就對王君馥說：「向道力代我任郡守，已經多年了，刺史大人現在怎麼還懷疑他呢？」王君馥把俱羅的話告訴薛胄，又一再向他請求。
薛胄呵斥王君馥說：「我已經清楚地知曉這個人是冒充的，司馬你包庇奸人，罪當連坐！」王君馥這才停止勸說，於是前往逮捕道力，道力非常害怕，供認了假充之罪。
薛胄發現壞人並使之伏法，大都類似此事，當時人們都稱他為神明。
在這之前，兗州城東邊，沂水、泗水合往南流，在大澤之中氾濫成災，薛胄於是命令人們積石築壩將其堵住，並疏通水道，使它向西流去。
這樣，池塘沼澤之地都變成了良田。
又打通河道運輸，使淮海邊的人們都受到了利益。
老百姓們都依賴這條河得以為生，稱這條河為「薛公豐兗渠」。
薛胄因天下太平，建議皇上登高祭天，以宣揚功德的盛大顯赫。
於是派遣博士登上泰山，觀覽古跡，作《封禪圖》和祭天的儀式禮節一併呈獻給皇上。
高祖謙虛推讓，沒有應允。
後來薛胄轉任郢州刺史，前前後後都有仁政。
後來調他回京，拜他為衛尉卿，不久轉任大理卿，任職期間，執法寬厚公平，很有稱職的名聲。
後來薛胄升任刑部尚書。
當時左僕射高赹漸漸被皇上猜忌，等到王世積被殺之後，高赹也因事受到牽連。
皇上借此想定高赹之罪。
薛胄為他洗刷罪名，並且不偏不倚地討論他的案件。
就因這件事，薛胄違背了聖旨，被用鐐銬拘禁起來，很久才得到赦免。
後來派他查核相州政事，很有能幹的名聲。
恰逢漢王楊諒在并州叛亂，派叛將綦良向東掠奪土地，攻打慈州。
刺史上官政向薛胄求援，薛胄害怕叛軍厲害，不敢抵抗。
綦良又率兵攻打薛胄，薛胄想用計退兵，就派親近之人魯世范勸說綦良：「天下的事情難得說清啊，薛胄作為人的臣子，在官與不在官，總要找到他應得的位置，你又何必苦苦相攻呢？」綦良於是棄之而去，進而謀取黎陽。
等到綦良被史祥擊敗，他棄軍逃奔薛胄。
朝廷以為薛胄有二心，把他押解到大理寺。
相州的官吏、老百姓一向懷念他的恩德，到朝廷為他說好話的有一百多人。
薛胄最後還是因牽連被除名，發配流放嶺南，在途中因病死去。
他有兩個兒子：薛筠、薛獻，一併知名於世。