顧覬之字偉仁，是吳郡吳縣人。他的高祖顧謙字公讓，是晉朝的平原內史陸機的姐夫。祖父顧崇，是大司農。父親顧黃老，是司徒左西曹掾。
顧覬之擔任謝晦的衛軍參軍，謝晦喜歡他文雅素淨，深深地相知相待。他歷任尚書都官郎。殷景文、劉義康之間的矛盾已經很顯著，顧覬之不願意與殷景仁長久地接觸，於是就以腳病為理由辭官回家。每天夜裡常常在床上行走，家裡人暗中詫異而不曉得他的用意。等劉義康免官流放，朝廷中的人有很多都遭了禍，顧覬之終於免遭不幸。
後來做了山陰令。山陰是個難以治理的地方，共三萬戶，前後任職的長官晝夜不得休息，事情還是辦不好。顧覬之用簡約的方法來統御複雜的情況，縣裡因而沒有事情。白天垂著簾子，門庭清閒，自從宋朝以來治理山陰，事務簡約而局面良好的，沒有人能超過他。
後來做尚書吏部郎。曾經在文帝的座位前論說江東人物，說到了顧榮，袁淑對顧覬之說：「你們南方人怯懦，怎麼能辦作賊的人？」顧覬之嚴肅地說：「您這是把忠義作為取笑人的理由。」袁淑面有愧色。孝建年間(454～456)，擔任湘州刺史，以政績而著稱。
大明元年(457)，徵調他為度支尚書，轉任吏部尚書。當時沛郡相縣的唐賜前往鄰村彭家飲酒回家，就此得了病，吐出毒蟲二十多條。唐賜的妻子張氏依照唐賜臨終的遺言，死後親自剖開他的肚子，五臟都糜爛破碎了。郡縣官方因為張氏殘忍地進行解剖，唐賜的兒子唐副又不禁止，判她為妻子傷害丈夫，服五年徒刑，兒子不孝順父母，斬首示眾。這些都不是法律條文。三公郎劉勰認為：「唐賜的妻子痛心地遵從遺言，兒子明白人死是自然現象，根據事實推究他們的心情，並不在於忍心殘害，應該予以同情。」顧覬之認為：「以妻子和兒子的身份而做出殘忍苛苦的事情，不應該無原則地疏通小的感情，我認為唐副是不孝，張氏和他一樣很不仁道。」詔令按照顧覬之的議論執行。
後來顧覬之擔任吳郡太守，得寵大臣戴法興權力壓過皇上，而顧覬之不曾向他低過頭。左光祿大夫蔡興宗與顧覬之友好，嫌他風節過於嚴峻。顧覬之道：「辛毗說過，孫、劉不過讓我不做三公罷了。」他後來死於湘州刺史任上，謚號為簡子。
顧覬之家門和睦，被同州郡的人們所尊重。兒子顧綽私人財產十分豐富，同鄉的士人和平民有很多人欠他的債，顧覬之禁止他不能奏效。等後來掌管吳郡，誘騙他拿出了文契一大廚，全部讓人燒掉。宣告給遠近各地的人們，都不需要再來償還，顧綽懊悔歎息了整整一天。
顧覬之常常認定命運都有固定的職分，不是智力所能轉移的，只應該恭守自己的本分，信憑天命。而昏昧的人不明達，妄求僥倖，徒然損壞了雅道，與得失無關。於是便以他的這種意思，讓他的侄子顧願作了一篇《命定論》。
顧願字子恭，父親是顧深之，為散騎侍郎。顧願喜愛學習，有才學和詞采，死在太子舍人任上。