胡諧之，豫章南昌人。祖父胡廉之，書侍御史。父親胡翼之，受到州府的聘用而沒有赴任。
胡諧之在宋朝做官為邵陵王左軍咨議。齊武帝為江州刺史，以胡諧之為別駕，委託他主管事務。
建元二年(480)，擔任給事中、驍騎將軍。上方打算獎賞給他貴族的婚姻，因為胡諧之家的人講方言，語音不正，便派了宮中的四五個人往胡諧之家去教子女說話。兩年後，皇帝問道：「卿家中的人語音已經純正了嗎？」胡諧之回答說：「宮人少，臣家裡的人多，不但不能正音，卻使宮人也變成方言。」皇帝大笑，普遍向朝臣說起這件事情。
永明五年(487)，他任左衛將軍，加給事中。胡諧之風采美好，善於自處，兼以舊時的恩德受到優待，朝士多願意和他交遊。六年，調為都官尚書。皇上打算要提升胡諧之的時候，曾經從容地對他說：「江州有幾個侍中呢？」他回答說：「近世只有程道惠一人而已。」皇上說：「應當讓它有兩個。」後來他把這話告訴了尚書令王儉，王儉心裡更感到詫異，便讓他當了太子中庶子，兼左衛率。
胡諧之很有見識，每當朝廷官員出缺以及應該陞遷替代，秘密估量皇上所用人選，都和他說的一樣。虞..因此對他十分佩服。升任權要職位以後，向下面徵求物品很多。他向梁州刺史范伯年求好馬，范伯年很為難，對使者說：「馬不是狗子，怎麼能夠滿足無窮的搜求！」接待使者很淡薄，使者非常怨恨地回去了，對胡諧之講：「范伯年說，胡諧之是個什麼狗東西，無厭地搜求！」胡諧之切齒憤恨。當時王玄邈取代范伯年，范伯年稱病推延沒有及時回京。胡諧之對皇帝說：「范伯年倚仗山川險固，聚眾企圖獨佔一州。」等范伯年回京，皇帝打算不再過問，胡諧之又說：「見到猛獸，捉住了它卻又放上山去麼？」皇帝於是賜他自殺。
永明十年(492)，胡諧之轉任度支尚書，兼衛尉。第二年去世，謚號肅侯。
范伯年本來是梓潼人，土地屬於梁州華陽郡。起初擔任州將，劉亮派他到京城咨詢事情，見到了宋明帝。明帝在說話間談到了廣州的貪泉，於是便問范伯年說：「卿的州上也有此水嗎？」回答說：「梁州只有文川、武鄉、廉泉、讓水。」又問他：「卿的宅院在哪裡？」回答說：「臣的住處在廉讓之間。」明帝感歎他善於答對，於是受到欣賞。歷任內外職務，終止於梁州刺史。