謝靈運，是安西將軍謝弈的曾孫、謝方明的侄子。祖父謝玄，是晉朝的車騎將軍。父親謝..，生下來就不聰明，位居秘書郎，死得早。謝靈運幼年就很聰穎，有悟性，謝玄十分詫異，對親近好友說：「我生了個謝..，..的兒子怎麼就一定趕不上我！」
謝靈運少年好學，博覽群書，文章的美妙，和顏延之同為江東第一。縱橫俊發超過顏延之，而深細密緻則不如他。堂叔謝混特別賞識和喜愛他。襲封為康樂公，因為是國公而照例任命為員外散騎侍郎，沒去就任，做了琅笽王大司馬行參軍。他性格奢侈，車輛衣服十分鮮麗，衣物大多改變舊的形狀樣式，社會上都很尊崇他，都稱他為謝康樂。逐漸陞遷為秘書丞，因為出事而免官。
宋武帝在長安，謝靈運擔任世子中軍咨議、黃門侍郎，奉了命令出使到彭城去慰勞武帝，作了一篇《撰徵賦》。後來做相國從事中郎、世子左衛率，因為隨便殺死僕役而免官。宋朝承受天命後，把他的爵位從公降為侯，重又做了太子左衛率。
謝靈運經常喪失禮度，朝廷只是把他作為文學人物對待，不把實權性的官職給他。他認為自己的才能可以參掌重權，卻不被賞識，常常懷著憤懣和怨恨。廬陵王劉義真少年時候就喜歡文籍，和謝靈運感情異常誠懇。少帝即位，權力掌握在大臣手裡，謝靈運製造矛盾，譭謗朝政，司徒徐羨之等人厭恨他，便把他調出京城去擔任永嘉太守。郡中有名山名水，謝靈運平素非常愛好。出任太守既然很不得志，於是便肆意遨遊，走遍了各縣，常常超過十天或一月。對管理民眾、聽取訴訟的事，不再關心，所到之處就是以詠詩來寄托自己的心意。
在郡中呆了一整年，便稱說有病，辭去職務，他的堂弟謝晦、謝曜、謝弘偉等都給他寫信勸阻，不聽。謝靈運的父親和祖父都葬在始寧縣，都有舊宅和別墅，於是便把戶籍遷移到會稽，修繕和營造舊時的住處。依傍青山，靠近江水，可以盡享幽居的美妙。他與隱士王弘之、孔淳之等以放蕩為娛樂，有就此度完一生的志向。他每有一首詩傳到京城，不論貴人賤人無不爭著抄寫，旦夕之間士人和平民都會傳遍，名聲驚動京城，他曾作《山居賦》，並且加有自注敘述這件事情。
文帝殺了徐羨之等人，徵調他做秘書監，兩次徵召都沒有前去。便讓光祿大夫范泰給他寫信敦促鼓勵，才出來就任。讓他在秘書閣書寫遺缺的文字，又讓他撰寫《晉書》，粗略地立好了提綱，而書最後沒有寫成。不久調任侍中，獎賞和待遇都很豐厚。謝靈運的詩和書法都很獨絕，每次文章作罷，就自己把它寫下來，文帝稱為二寶。既然自以為是名流，就應該參與朝政，但是到現在只是被以文學的身份對待；常常陪同皇上宴飲，不過就是閒談欣賞。王曇首、王華、殷景仁等人的名位素來都不超過他，卻都被賞識重用，心裡很不平衡，於是常常聲稱有病而不上朝值班。開鑿水池、設置園林、種植竹子、栽培果樹，賦稅徭役，不再去催促如期完成。出城遊玩，有時遠達一百六七十里，十幾天不歸。既沒有上表，也不請假。皇上不願意傷害大臣，委婉地暗示讓他自己辭職。謝靈運上表陳說自己有病，賜給他假期東歸。將要走的時候，又上書勸朝廷討伐黃河以北。而遊玩宴集，仍然夜以繼日。又被御史中丞傅隆參奏免官，這一年，是元嘉五年(428)。
謝靈運到了東部以後，和族弟謝惠連、東海人何長瑜、穎川人荀雍、泰山人羊璇之以文章互相欣賞聚會，共同進行山澤旅遊，當時的人稱他們為四友。謝惠連自幼就有奇才，不為他的父親謝方明所知。謝靈運離開永嘉回到始寧，當時謝方明為會稽太守，謝靈運去拜訪謝方明，遇到了謝惠連，大加賞識。謝靈運的性格平時無所推重，只器重謝惠連，和他結為生死之交。當時何長瑜教謝惠連讀書，也在郡內，謝靈運又以為是絕倫之才。他對謝方明說：「阿連有這樣的才能和悟性，而您卻當成平常的兒童對待，長瑜是當今的王粲，而您卻用對下客的態度對待他。您既然不能禮遇賢士，應該把長瑜還給靈運。」便用車把他拉走了。荀雍字道雍，官做到員外散騎郎。羊璇之字曜..，擔任臨川內史，被司空竟陵王劉誕所賞識，劉誕失敗後株連被殺。何長瑜的才氣亞於謝惠連，而荀雍、羊璇之趕不上。臨川王劉義慶搜集文士，何長瑜從國侍郎升到平西記室參軍。曾經在江陵寄信給族人何勖，用韻語來描述劉義慶州府中的官員說：「陸展染白髮，欲以媚側室，青青不解久，星星行復出。」像這樣的有五六句。而輕薄少年於是加以擴展，凡是人士都成為題目，都加上苛苦的詩句，他們的這種文字非常流行。劉義慶大怒，報告了文帝，把他調任廣州所統轄的曾城縣令。後來劉義慶去世，朝中的士人都到府上去致哀，何勖對袁淑說：「何長瑜就可以回來了。」袁淑說：「封國中剛剛失去了皇族的英才，不應該就考慮流放人員。」廬陵王劉紹鎮守尋陽，任命何長瑜為南中郎行參軍，掌管書記工作。路上走到板橋，遇到暴風落水而死。
謝靈運憑借祖父的產業，生活的資本很豐厚，奴僮很多，舊時僕役幾百人，鑿山浚湖，工程不斷。尋山攀嶺，一定要登上幽僻高峻之處，巖嶂幾十重，無不全部走到。攀登常常穿著木屐，上山的時候就去掉它的前齒，下山的時候就去掉它的後齒。他曾從始寧南山伐樹開路，直到臨海，跟隨的有幾百人，臨海太守王臔很吃驚，以為是山賊，最後知道是謝靈運才安下心來。謝靈運又邀請王臔繼續前進，王不肯。謝靈運贈王臔詩說：「邦君難地山僉，旅客易山行。」在會稽也有眾多的隨從，驚動了全縣。太守孟青奉佛十分虔誠，而被謝靈運所輕視，他曾經對孟青說：「要想得道必須具有天賦的慧業，丈人您升天肯定在我的前面，而成佛必然在我的後面。」孟青對這話深為憎恨。謝靈運又與王弘之等人出去到千秋亭飲酒，赤裸著身體大聲喊叫，孟青深深感到不能忍受，寫信向他們提出。謝靈運大怒說：「我們自己大叫，跟癡人有什麼關係？」
會稽東城有個回踵湖，謝靈運請求放水開為田地，文帝讓州郡實行。這個湖離城郭很近，對於湖中的水產，百姓們感到很可惜，孟青堅持不給。謝靈運得不到回踵湖，又請求把始寧的休山皇湖開為田地，孟青又堅決不讓。謝靈運說孟青並不是打算有利於民眾，而是顧慮決開湖水會害死水中許多生命，於是便用言論對他進行攻擊。謝靈運與他便產生了矛盾。藉著謝靈運的橫行放肆，孟青上表說他心有異志，發兵自己進行防守，並且上報朝廷。謝靈運騎馬到宮中上表，自己陳述事情的原委。文帝知道他是被誣陷，並不降罪。也不想讓他東歸，任命為臨川內史。
他在臨川的遊玩放浪，不異於在永嘉，被有關部門所糾彈。司徒派遣使者隨州從事鄭望生拘捕了謝靈運。謝靈運興兵叛逃，於是便有了造反的志向。他寫詩說：「韓亡子房奮，秦帝魯連恥，本自江海人，忠義感君子。」官兵追討，捉住了他，送交給廷尉，廷尉論為斬刑。皇上愛他的才能，打算只是將他免官。彭城王劉義康堅持，認為不應寬恕。詔令說「謝玄功勳可比管仲，應該寬大處理他的後代，把死刑降為流放廣州」。
後來秦郡的府將宋齊接受委派到了塗口，走到桃墟村，見有七個人離開大路聚在一起私語，懷疑不是平常的人，回去報告了郡縣衙門，於是便派兵隨宋齊突襲抓住了他們。其中一個人姓趙名欽，說「同村的薛道霜先前和謝靈運共事，薛道霜通過同村的成國告訴我說：『謝靈運犯了事流放到廣州，給錢讓買弓箭刀盾等東西，讓道霜邀合鄉村中的強壯男子，在三江口把他搶奪過來。如果能得志如願，功勞是共同的。於是聚合同黨，搶奪謝靈運，沒有成功，等回來後非常飢餓，便在路上進行搶劫』。」有關部門奏請逮捕了謝靈運，文帝詔令在廣州處死示眾。他在臨死的時候作詩說：「龔勝無餘生，李業有終盡，嵇公理既迫，霍生命已殞。」其中所說的襲勝、李業，就像前首詩所說的子房、魯連的意思。當時是元嘉十年(433)，年齡四十九歲。他所著的文章流傳在世。