胡叟，字倫許，安定臨涇人。家中世代為官，胡氏家族為西夏著名的姓氏。胡叟少年時即聰慧敏捷，十三歲時就能辨別疑難，解釋義理，名傳鄉國，他所明白的義理，即使與成人交手辯論，也很少有屈服的。他不從師，完全憑自學掌握義理，朋友勸他還是從師的好，他說：「先聖之言，精闢大義進入神境，哪是僅指一部《易經》呢？即使《易經》，我也能通過自己的思考理解一半以上的義理。而那些末世腐儒，僅能粗粗辨別剛柔的卦位，哪有能夠探尋深義、推測未顯之精理的能耐呢。我從師學習的事情，不是在今天就能實現的。」胡叟閱讀的各種書籍，等到再次過目時，就都能背誦書的內容了。胡叟喜歡寫文章，既善於典雅的詞章，又工於鄉語粗言。因姚氏政權將要滅亡，他便來到長安觀察世態，隱姓埋名，怕被人知道。當時，京城有個叫韋祖思的人，少時就開始閱讀典籍，很輕視當時的人，知道胡叟來了，便召見他。祖思很隨便，對待胡叟不大周到，胡叟只與他聊了幾句家常，便拂袖而出。祖思執意挽留他，說：「還沒與您討論天人之際的大事呢，為什麼這麼快就要回去？」胡叟回答說：「討論天人之事的人死了已經很久了，與你相知，怎能如此奢言呢。」於是不坐而去。到了主人家中，作賦描述韋、杜兩族，一夜寫成，當時年僅十八。描述兩家前輩，不違背他們舊時美況，中世與時事相協，賦尾寫其卑鄙黷暗。世上之人都認為他是當世奇才，也很害怕他的筆觸。他所寫的也為世人所傳誦，成為人們談笑的材料。
胡叟孤零漂泊坎坷多折，無法進入仕途，於是輾轉到了漢中。劉義隆政權的梁、秦兩州刺史馮翊、吉翰，覺得胡叟是個才子，對待他禮節很是周全。讓胡叟在自己幕府當個小參謀，胡叟不以為然。沒多久，吉翰調任益州，胡叟也跟著入川，胡叟又被當地豪俊之士所推崇。當時蜀中和尚法成，率領僧人幾乎一千人，鑄造一丈六尺多的佛身金像。劉義隆很討厭他聚集如此眾多和尚的行為，準備判以極刑。胡叟聽說，立即趕赴丹陽，在劉面前申述法成的各種好處，屠刀之下救出法成。事情完後，胡叟回到蜀中。法成感激他的救命之恩，送給他許多珍貴的財寶，價值可達千餘匹錦帛。胡叟對法成說：「緯蕭何人，能棄明珠？我為佛德請命，不是為錢財驅使，你給我錢財幹什麼？」什麼也不要。
胡叟在益州呆了五六年，又北上到了楊難當那裡，後又西進到沮渠牧犍帳下，沮渠牧犍不怎麼重視他。胡叟也沒有誠心歸附他們，於是寫詩給瞭解任用他的廣平程伯達。大意是說：「群犬吠新客，佞暗排疏賓。直途既以塞，曲路非所遵。望衛惋祝釣，眄楚悼靈均。何用宣憂懷，托翰寄輔仁。」程伯達看了他寫的詩，對胡叟說：「涼州雖然地處戰事頻起的邊關，但自張氏據守以來，這裡風俗漸變，也有中土華風。而今則中土各種制度法規在這裡暢行無阻，哪是當年被人誤解的祝釣之世所有的呢？」胡叟說：「古人說：君子聽到瑚鼓的聲音，就想到從事戰爭的將士。而貴主奉舉家國卻不心誠，慕仰仁義而不允實行，地處偏僻而僭立帝號。地小野心卻大，大概就像你這樣吧？當年徐偃前車之跡，很快就是你的結局。我如鳥擇木而居，早就心歸大魏，與你只是暫時離別，不是久不相見。」一年多以後，沮渠牧犍被魏破滅，牧犍本人也降服魏國了。
胡叟本人在沮渠投降之前即已到了魏國，魏朝廷以他有先見之明，拜授他為虎威將軍，賜始復男爵位。胡叟在密雲定居，家境貧寒，草室陋居，胡叟本人只以薄酒度日，自娛自樂。胡叟對友人金城人宗舒說：「我這樣的生活，看起來比焦先還強些。本人天性樂此，不願再往高處發展了。」後來胡叟被朝廷征拜為官，胡叟謝恩不往，並獻上辭官詩一篇。魏高宗時朝廷徵召胡叟及徐舒，讓他們都寫討伐劉駿、蠕蠕的檄文。徐舒的文字比胡叟差，於是徐舒很快又回家去了。
胡叟不治家產，常常遭受飢餓貧困之苦，但他卻不覺得有什麼恥辱。養子叫螟蛉，也自食其力。胡叟每每到高官顯貴家裡拜訪，總是坐著一頭母牛，衣裳破敗不堪，也不在乎。自己縫製一條布袋子，袋子大概能裝三、四斗的樣子，在富人家吃得酒醉飯飽，便把吃剩下的肉菜飯粟帶回來給螟蛉。胡叟見到那些車馬華麗的達官貴人，也從不正眼相看，輕蔑得很。尚書李敷，曾經送給他一些財物，胡叟一點也沒要。當初胡叟第一眼見到高允，說道：「吳、鄭兩地之交，以粗衣淡食為美談的，你我之間，以朋友規勸為幽隱之志，就這而言，你當無愧於此。」胡叟在高允居所見到中書侍郎趙郡人李璨，李璨穿著華麗的衣服，而胡叟貧窮衰老身穿粗布衣裳，李璨很是瞧不起他。胡叟對他說：「老子今天若是願意，脫下身上的衣褲帽子，你該作何打算？」以此來譏諷李璨的衣冠華貴，意氣自得。李璨一聽，大吃一驚，頓失顏色。
胡叟少小便成了孤兒，每每談到自己父母，就潸然淚下，像小孩子一樣悲哀地哭泣。每逢春秋兩季應當祭祀父母之前，他就弄到好酒好菜，領著知心朋友廣寧常順陽、馮翊田文崇、上谷侯法雋，提壺帶杯，到郊外空曠僻靜的地方。設置祭壇，奠拜父母，盡自己思念孝順之情。當時，敦煌汜潛家裡善於釀造美酒，每到節日，便送上一壺酒給胡叟。著作佐郎博陵人許赤虎、河東人裴定宗等人對汜潛說：「送給人東西，送上兩三回，便是很大的恩惠了，而你送給胡叟酒，卻持之以恆，這是為什麼呢？」汜潛說：「我持之以恆地拿酒給祭祀的人，是因為他孝心常在也。」評論的人說汜潛真是位君子。順陽這地方有幾個後生，承蒙胡叟提攜，很快進入文人之林。
高閭曾經到他家拜訪，正值胡叟光著膀子拽著柴火，從田畈中往家走。歸家之後，為高閭辦了些薄酒蔬食，都是他自己下廚弄的。他居住的房子十分矮小簡陋，房前屋後都是田園菜地，而胡叟弄出的飯菜卻十分精緻整潔，味道鮮美。高閭看到他的兩個老婆，都年老體衰，而且腳跛眼瞎，衣裳破舊。高閭看到他家實在太寒酸了，送給他大約十餘匹布的東西，胡叟也就不推辭地收下了。高閭作《宣命賦》，胡叟為他作序。密雲這個地方的人，都十分敬仰胡叟的人品德行，每年都給他送些布匹糧食來，胡叟轉手就分給了別人，家中什麼都沒留下。胡叟活到八十多歲死去。
胡叟原配敦煌宋氏。先死了，沒留下孩子，後娶的所生養的，又都過早去世，他竟絕了後代。胡叟死後，沒有家裡的人主持喪禮，胡始昌把他的靈柩迎接殯置在自己家裡，下葬時，將自己的一個弟弟過繼給他，襲他的爵位始復男、虎威將軍。胡叟與始昌雖然為同一宗室中人，但是兩人脾氣、性格相差很遠，合不來，胡叟在世時，兩人來往就很少，等到胡叟死了，胡始昌收葬他的禮節十分周全。人們都議論，這是不是胡始昌想得到胡叟的爵位品秩，而不是出於同宗族的哀憫之心才這樣做的。