胡藩字道序，豫章南昌人。少年時成為孤兒，居喪以哀傷聞名。太守韓伯見了他，對胡藩的叔叔尚書胡少廣說：「您的這個侄子一定會以義烈成名。」州府徵召，他不去上任，等二弟加冠結婚完畢，才到郗恢的軍幕中擔任參謀。當時殷仲堪為荊州刺史，胡藩的妻兄羅企生是殷仲堪的參軍。胡藩從江陵經過，去看望羅企生，從而勸說殷仲堪說：「桓玄的意趣沒有常性，您對他的崇信太過分了，不是迎接未來的好方法。」殷仲堪很不高興。胡藩下來後對羅企生說：「倒過戈柄來交給別人，必定會導致大禍，如果不早早離開，後悔就來不及了。」後來桓玄從夏口襲擊殷仲堪，胡藩參謀殷仲堪後軍軍事。殷仲堪失敗，羅企生果然因為跟從他而遭了禍患。
胡藩轉換職務為太尉大將軍相國參謀軍事。宋武帝起兵，桓玄戰敗將要逃跑。胡藩拉著馬韁說：「現在羽林軍的射手還有八百人，都是過去西部的義兵，一旦捨棄他們，再想回歸難道還能做得到嗎？」桓玄只是用鞭子指著天空。從此奔逃，互相失散，後來他在蕪湖追上了桓玄。桓玄見了胡藩，高興地對張須無說：「您這一州總是多出士人，今天又見到了王修。」桑落失敗後，胡藩的軍艦被燒燬，他穿著鎧甲跳入水中，潛泳了三十來步，才得以登岸。於是回到了家中。
武帝平時聽說胡藩對殷仲堪直言勸告，又為桓玄盡節，便召聘他到本鎮軍中參謀軍事。跟隨征討慕容超，慕容超的軍隊屯聚在臨朐。胡藩告訴武帝說：「賊軍屯兵城外，留守部隊必然很少，現在前往攻取他的城池而斬斷他的旗幟，這便是韓信戰勝趙軍的辦法。」武帝便派檀韶與胡藩秘密前往，於是攻克了此城。賊軍見城池陷落，立即逃走，退軍去保廣固。武帝又把它包圍起來，將要攻下的那天夜裡，忽然有一隻鳥像鵝一樣大，青黑色，飛入武帝帳幕中。眾人都認為不祥。胡藩慶賀說：「青黑，是胡虜的顏色。胡虜歸我，大吉大祥。」第二天早晨攻城，城被攻陷。他跟隨征討盧循到達左裡，屢戰有功，被封為吳平縣五等子。
不久任命為鄱陽太守，跟隨討伐劉毅。起初，劉毅要去荊州，上表請求繞道東部回建鄴辭別陵墓。離都城還有幾十里，沒再前行，面向宮闕叩拜。武帝前往倪塘會見劉毅，胡藩請求把他殺掉，便對武帝說：「您認為劉衛軍在您以下麼？」武帝說：「您以為怎樣？」他說：「要論豁達大度，功高天下，聚集百萬之眾，合乎天人願望，劉毅當然應該佩服您。至於涉獵記傳，吟詠談說，自許為雄傑，進行誇口，官紳白面之士，紛紛投歸，在這方面劉毅就不肯在您之下了。」武帝說：「我與劉毅都有克復的功勞，他的罪過還沒有彰顯，不可以自相圖謀。」到了現在，又對胡藩說：「以前如果聽從了你在倪塘的計謀，就不需要有今天的行動了。」
他又跟隨征討司馬休之，做了參軍。徐逵之敗亡，武帝非常生氣，當天就在馬頭岸渡江。江津岸邊峭壁千丈，司馬休之臨岸佈陣，無法攀登。武帝叫來胡藩，命令攀登上岸，胡藩臉色猶疑。武帝發怒了，命令左右把他押來，想要斬他。胡藩不甘被殺，回過頭來說：「寧可前進而死。」便用刀頭在岸上鑿孔，勉強容下腳指，逕直上攀，隨著攀上的人越來越多。登上以後，拚死戰鬥，終於打敗了敵人。
跟隨討伐關中時，為太尉軍事參謀，統領另一支隊伍到了河東。暴風吹著輜重艦漂到北岸，魏軍得到了這只軍艦。胡藩十分氣憤，率領身邊十二人乘小船徑直前往。魏騎兵五六百人，看見胡藩前來，一齊笑他。胡藩善於騎射，登岸射擊，應弦而倒的約有十人。魏軍通通退走，全部收復了所失的土地，然後返回。又派遣胡藩和朱超石等追魏軍到達半城，魏軍幾萬人進行合圍，胡藩和朱超石兵不滿五千，奮力作戰，大破了敵軍。武帝回到彭城，參與相國軍事。議論他平定司馬休之和廣固的功勞，封為陽山縣男。元嘉年間(424～453)，位居太子左衛率。死後，謚號為壯侯。兒子胡隆世繼承了他的爵位。
胡藩的幾個兒子，大都不遵守法度，第十四子胡遵世夥同孔熙先謀反，文帝因為胡藩是功臣，不想暴露這件事，便讓江州官員借其他事情把他殺死。第十六子胡誕世，第十七子胡茂世，後來企圖擁戴平民劉義康，交州刺史檀和之前往豫章，將他們討平。