胡藩字道序，豫章南昌人，他祖父胡隨，官至散騎常侍。父親胡仲任，官至治書侍御史。
胡藩很小便死了父母，在喪事期間非常悲痛，以此著名。太守韓伯看見他，對他的叔父尚書胡少廣說：「你的這個侄兒一定會以義氣成名。」本州本府徵調他，他沒有應任，等待兩個弟弟結婚後，他才當郗恢的征虜軍事。當時殷仲堪當荊州刺史，胡藩的舅兄羅企生當仲堪的參軍，胡藩請假回家，經過江陵，探望企生。殷仲堪邀請胡藩相見，接待他很隆重。胡藩趁便勸說殷仲堪：「桓玄意氣不凡，每每不滿於他的職務，足下對他太好，恐怕不利於將來。」仲堪臉上頓時露出不愉快的神色。胡藩退回對羅企生說：「倒著戰戈給人一定會招致大禍。如果不早點打算避開，後悔就來不及了。」桓玄從夏口襲擊殷仲堪，胡藩當桓玄的參後軍軍事。殷仲堪失敗，羅企生果然因為跟從殷仲堪而遇到災難。胡藩則轉任參太尉、大將軍和相國軍事。
劉裕的起義開始，桓玄被擊敗準備出逃，胡藩在南掖門拉住桓玄的馬韁繩說：「今日羽林射箭能手還有八百人，他們都是桓家老部下，又是西楚人氏，一旦不利用他們，想回去哪有什麼可能呢？」桓玄只用馬鞭指著天說天命而已。於是胡藩和桓玄逃散分開。他到蕪湖追趕上桓玄，桓玄看見胡藩，高興地對張須無說：「你們州本來很多義士，今日又見到王叔治。」桑落州戰役中，胡藩的船被燒，他穿著一身鎧甲潛入水中行走三十餘步，才得登岸。起義軍逼近，胡藩不能向西，於是回家。高祖一向聽說胡藩對殷仲堪講真話，又為桓玄盡忠，召他為員外散騎侍郎、參鎮軍軍事。
胡藩隨同征討南燕慕容越，敵人屯駐臨朐，胡藩對高祖說：「敵人屯兵城外，留下的守兵必然很少，現在前往攻城，敵兵看見城池陷落，必定一下子逃散，這也是韓信擊敗趙兵的法子。」高祖於是派檀韶和胡藩暗中前進，宋軍一到，便攻下臨朐城，燕兵一時間逃跑，回保廣固城幾個月。廣固將攻拔的夜晚，宋軍將佐都在座，突然有一隻像鵝一樣的青黑色的大烏鴉，飛入高祖的軍帳，眾人都非常驚駭，以為是不祥之兆。胡藩上前祝賀道：「青黑的顏色，正是胡人的顏色，胡人投降我們，這正是大吉的徵兆。」第二天早晨，宋軍攻城，拔下了廣固。胡藩又隨同討伐在左裡的盧循，連續戰鬥都有軍功，被封為吳平縣五等子爵，任正員郎。不久轉任寧遠將軍、鄱陽太守。
胡藩又隨同討伐劉毅。劉毅當初到荊州，上表請求走東面回到京口，辭別先人廬墓，離都城幾十里，不到皇宮拜謁而過。高祖到倪塘會見劉毅。胡藩勸高祖在會見中殺了劉毅，高祖沒同意。高祖到這時對胡藩說：「當年如果聽從你在倪塘的計策，就不需要今日的行動了。」胡藩又隨同征伐司馬休之，再當參軍，加號建武將軍，在江津一帶率領遊軍。徐逵之敗亡，高祖非常憤怒，當天便在馬頭岸渡長江，但江岸險峭，聳立幾丈高，司馬休之在岸邊佈陣，官軍無法上岸。高祖叫胡藩馬上上岸，胡藩有些猶豫，高祖更加憤怒，叫左右的人把胡藩捆來，想將他斬首。胡藩不接受砍頭的軍令，回過頭來說：「胡藩寧願上前戰死！」他用刀頭鑿岸壁，稍微能容腳掌，於是直接登上，隨他上岸的人稍稍多起來。官軍登岸之後，都拚死奮戰，司馬休之的部隊擋不住，只好退卻，官兵乘機追擊，司馬氏部隊瞬間逃散。
高祖征討後秦姚泓，暫任胡藩為寧朔將軍、參太尉軍事，統率一支獨立的部隊。到河東，大風把胡藩的船隻吹到北岸，魏人牽住這些船隻，拿取其中的器物。胡藩非常憤怒，帶身邊十二人，乘小船直駛河北。敵人騎兵五六百看見胡藩都笑他膽大。胡藩向來會射箭，登上河岸便射擊敵人，敵人應聲而倒的有十來人，其他的人便連忙奔逃，胡藩把失落的船隻物品全部收回。劉裕又派胡藩和朱超石等人追擊在半城的魏人，魏人騎兵幾層包圍宋兵，胡藩和朱超石帶的都是剛分配的新兵，不滿五百人，但他們率兵激戰，大敗敵軍。又和朱超石等人進擊在蒲阪的姚業，朱超石敗而退回。胡藩收集朱超石丟下的器械物資，慢慢地退回，姚業不敢追擊。
高祖回到彭城，胡藩當參相國軍事。當時盧循餘黨和蘇婬等亡命徒相互勾結，用蘇婬為始興相。高祖因平定打敗司馬休之和攻廣固的功勞，封胡藩為陽山縣男，食邑五百戶。少帝景平元年(423)，胡藩因為防守東府，擅自打開邊門，被免去官職，不久又恢復他的職位。元嘉四年(427)胡藩遷任建武將軍、江夏內史。七年(430)被徵調為游擊將軍。到彥之北伐，南兗州刺史、長沙王劉義欣進據彭城，胡藩出外戍守廣陵，代管州府事務。又轉任太子左衛帥。十年(433)，胡藩逝世，享年六十二歲，被謚為壯侯。他的兒子胡隆世繼承他的職位。隆世去世，兒子胡乾秀繼承。胡藩非正妻生的兒子有六十人，多數不遵守法紀。