何遜字仲言，八歲就能作詩，二十歲時，州中選為秀才。南鄉人范雲看見何遜對皇上策問的回答，大加讚賞，因而與他結為忘年交。范雲對關係親近的人說：「近來我觀察文人，質樸的過於柔弱，華麗的又失於庸俗，那種能夠清而不濁，適合古今標準的，可以在何遜身上看到。」沈約曾經對何遜說：「我每次讀您的詩，一日三遍，還是放不下。」何遜就是這樣受到名流人士的稱讚。
梁朝天監年間(502～519)，何遜兼任尚書水部郎，南平王把他引為賓客，掌管記室事務，後來推薦給武帝，和吳均一起受到寵幸。後來逐漸失意，武帝說：「吳均不均，何遜不遜。不如我有朱異，確實很異的。」從此疏遠隔膜，很少能再見到。死在仁威廬陵王記室的職位上。
起初，何遜被南平王所賞識，深深地受到恩澤和禮遇，等到聽說何遜去世，便命令迎來他的靈柩而加以埋葬，並且給他的妻子兒女贈送食物。東海人王僧儒收集他的文章編為八卷。
起初，何遜的文章與劉孝綽一齊被推重，當時稱作何、劉。梁元帝寫文章評論說：「詩寫得多而且擅長的是沈約，寫得少而且擅長的是謝紿、何遜。」
何遜的堂叔何間字彥夷，也以文才著名，官路不夠通達，便作了一篇《拍張賦》來寄托自己的心意。末尾說：「東方曼倩從少年時代就發憤努力，結果與掌管炊事的火頭、奉祭祀的供養者待遇相同。」他的職位達到台郎。
當時會稽有個虞騫善於作五言詩，名氣與何遜相同，官做到王國侍郎。後來又有會稽人孔翁歸、濟陽人江避，都是南平王大司馬的記室。孔翁歸善於作詩，江避博學富有思考能力，注了《論語》、《孝經》。二人都有文集。