元胄是河南洛陽人，西魏昭成帝的第六代子孫。
祖父元順，西魏的僕陽王。
父親元雄，武陵王。
元胄小時候就英勇果敢，練就了多種武藝，美髯虎鬚，看上去凜然不可侵犯。
北周齊王宇文憲一見他，就把他當作壯士，招到自己的身邊。
元胄多次跟隨齊王出征打仗，官至大將軍。
高祖剛被徵召進朝廷，將被周宣帝托付後事，高祖先叫元胄，其次才叫陶澄，將他們一起當作心腹之人，常常住在高祖的臥室內。
高祖當了丞相後，元胄主管宮廷中的禁衛軍，又引弟弟元威入宮當侍衛。
周趙王宇文招得知高祖將要取北周而代之，於是就邀請高祖到自己的府中，趙王將高祖引進臥室內，左右侍從不得跟隨，只有楊弘和元胄兄弟坐在門邊。
趙王對他的兩個兒子宇文員和宇文貫說：「你們進室內去獻瓜，我趁機將他刺殺。」飲酒正酣時，趙王想突起事變，拿所佩帶的刀切瓜，不斷地讓高祖吃瓜，將要刺殺高祖。
元胄進屋說：「丞相，府中有急事，您不能在這裡多呆了。」趙王大聲喝斥說：「我和丞相談心，你是幹什麼的？」趙王想把元胄喝斥走，元胄瞪圓雙眼，怒氣沖沖，握刀闖入內室。
趙王問他叫什麼名字，元胄照實回答了，趙王恍然說：「你不是以前跟隨齊王的嗎？的確是壯士啊！」於是賜酒給他喝，並且溫和地說：「我哪裡有什麼不好的意圖呢？你何必如此猜測我警惕我？」不一會兒，趙王假裝嘔吐，準備進入後門，元胄怕他又有詭計，急忙走過去扶住趙王，使他坐入席中的上位，像這樣做了幾次。
後來，趙王聲稱自己口渴，命令元胄到廚房中去取茶，元胄不動。
不久，恰逢滕王宇文荄到來，高祖親自走下台階迎接他，元胄趁機對高祖耳語：「情況很不妙，您一定要快點離開這兒。」高祖還是沒有明白，對他說：「他又沒有兵馬，能把我怎麼樣？」元胄說：「兵馬都是他們的，一先下手，大事就完了。
我雖然不怕死，但死又有什麼益處呢？」高祖又進室中坐下，元胄聽見屋後有披鐵甲的聲音，於是立即請高祖說：「相府事急，你怎能如此久坐？」於是扶高祖下床，急促地離去。
趙王將要追趕高祖，元胄用身體擋住屋門，使趙王不能出來追趕。
高祖到達相府，元胄也回來了。
趙王將手指敲得出了血，悔恨自己沒有抓住時機發動事變。
後來高祖殺了趙王，給予元胄的賞賜數也數不清。
高祖受禪登上帝位，元胄升為上柱國，封為武陵郡公，食邑三千戶，授左衛將軍，不久又升右衛大將軍。
高祖閒談時說：「保護我的安全，成就這番基業，這是元胄的功勞啊！」幾年以後，元胄出任豫州刺史，歷任亳州、淅州刺史。
當時突厥多次騷擾邊疆，朝廷因為元胄一向有威名，授給他靈州總管的職務，北方部族很害怕他。
後來徵召回朝任右衛大將軍，高祖對他更加親密。
曾經有一個正月十五，高祖和貼身近臣登高賞月，當時元胄在值班，皇上下命令用快馬把他招來，見到元胄，皇上對他說：「你與別人登高賞月，比不上和我一起登高好！」設宴招待，極其高興。
晉王楊廣常常向他致禮。
房陵王被廢，元胄參與了謀劃。
當時皇上正在追究處理東宮的事情，左衛大將軍元竁苦苦勸諫皇上不要廢黜太子，楊素於是進讒言誣陷元竁。
皇上很憤怒，拘留了元竁。
元胄此時值班時間已到，應該下班，但他沒去，對皇上上奏說：「我不離開您，是為了防備元竁罷了。」又以這話激怒皇上，於是皇上殺了元竁，獎給元胄一千匹絲綢。
後來蜀王楊秀獲罪，元胄因為和他有來往，被除去了官名。
煬帝即位，元胄得不到調遷。
當時慈州刺史上官政因事獲罪被流放到嶺南，將軍丘和也因罪被廢去官職。
元胄與丘和有老交情，於是經常和他往來，元胄曾經與丘和一起喝酒，喝到興頭上，說：「上官政是壯士啊！現在被發配到嶺外，不會生事吧？」於是自己捂著心說：「我假如是你，不會白白地這樣罷了。」丘和第二天將元胄的話啟奏皇上，元胄竟因為這件事被殺了頭。
於是皇上封上官政為驍衛將軍，授給丘和代州刺史的職務。