何遜，字仲言，是東海郡郯縣人。他的曾祖父何承天官至南朝宋御史中丞。祖父何翼官至員外郎。父親何詢官至齊太尉中兵參軍。
何遜八歲時就能吟詩作賦，二十歲左右州里舉薦他為秀才。南鄉人范雲見了他寫的策論，大加讚賞，於是二人結為忘年之交。從此以後，何遜每寫一篇文章，范雲見了總是讚不絕口，還對他所親近的人說：「近來看了一些文人寫的東西，要麼太樸實而顯得不高雅，要麼太浮華而顯得俗氣。其中既顯樸實而又不失文采，能夠融匯古今的好文章，我還只看到何遜的。」沈約也喜歡何遜的文章，他曾經對何遜說：「我每次讀你的詩文，即使一天反覆讀三遍，還是餘興未盡，停不下來。」何遜就是這樣備受當時文壇名流稱讚的。
梁朝天監年間，何遜開始擔任奉朝請，後來升為中衛將軍建安王水曹行參軍，兼任記室。建安王喜歡有文學才華的人，他天天和何遜在一起交遊宴飲，後來，他調任江州刺史，還是任命何遜掌管書記之事。不久，何遜又擔任安西將軍安成王參軍事，兼尚書水部郎，因母親去世而離任。服喪完畢之後，何遜被授予仁威將軍廬陵王記室之職，再次隨同廬陵王到了江州，沒多久就離開了人世。東海人王僧孺把他的文章彙集到一起，共八卷。
當初，何遜的文章與劉孝綽的文章一併被人們看重，世人稱他們為「何劉」。梁元帝蕭繹曾寫文章作過這樣的評價：「詩文寫得多而取得成就的是沈約，詩文寫得少也同樣取得成就的要數謝月兆和何遜。」
當時有個會稽人叫虞騫的，擅長寫五言詩，名氣與何遜相當，官至王國侍郎。其後又有會稽人孔翁歸、濟陽人江避，兩人一起擔任南平王大司馬府記室。孔翁歸也擅長作詩。江避博學多才，思維敏捷，條理清晰，還註釋了《論語》、《孝經》。兩個人都有文集。