謝靈運，陳郡陽夏人。祖父謝玄，是晉代的車騎將軍。父親謝王奐，從小便不聰明，當過秘書郎，很早就死了。謝靈運很小的時候就聰慧過人，謝玄十分看重他，跟親近的人說：「我生了謝王奐，謝王奐怎麼能生靈運呢！」
謝靈運從小便愛讀書，博覽經史，他寫的文章非常漂亮，江南幾乎沒人趕得上，堂叔謝混尤其喜歡他。謝靈運繼承祖父的爵位，被封為康樂公，享受兩千戶的稅收待遇。援引先例，謝靈運被朝廷授予員外散騎侍郎的職務，謝靈運沒有到任，但他卻接受了琅王牙王的大司馬行參軍的官職。謝靈運性情奢侈喜愛豪華，他車子的裝潢鮮艷而美麗，他的衣著玩的用的東西，無不改變以往的舊樣式，世人都學他的樣子跟著變，人們都叫他謝康樂。撫軍將軍劉毅鎮守姑孰，用他當記室參軍。劉毅鎮守江陵，又讓他當衛軍從事中郎。劉毅被殺後，高祖劉裕用他當太尉參軍。回到京城後做秘書郎，又因事而被罷免。
武帝劉裕因事征討後秦姚氏，驃騎將軍劉道憐留守都城，謝靈運被用為諮議參軍。再轉調當中書侍郎，又當世子中軍諮議、黃門侍郎。謝靈運奉命出使彭城，慰勞世祖劉駿，寫了《撰徵賦》。
回來仍然被任命為宋國黃門侍郎，再升任相國從事中郎，世子左衛帥，因為擅自處死門生，被免除官職。宋武帝劉裕做皇帝，謝靈運的公爵被降為侯爵，享受五百戶的稅收待遇，又出任散騎常侍，轉任太子左衛帥。謝靈運天性偏激，常常有觸犯禮法律令的行為。朝廷只把他看成有些文才的人，而不是有學識才幹的政治家。而他自己卻認為有水平參與國家大政，現在既然不被賞識，經常憤憤不平。廬陵王劉義真幼時便喜好文學，和謝靈運有很好的關係。少帝當皇帝時，權力掌握在大臣的手上，謝靈運在中間挑撥離間，誹謗當權的人。司徒徐羨之等人很怕他，讓他出外當永嘉太守。永嘉郡有很多名山秀水，他一貫喜歡遊山玩水，因為他是被排擠出來的，於是便任情地遨遊，足跡幾乎踏遍了每一個縣，每次出遊，動不動便上十天，老百姓的訴訟，他一概不管。謝靈運無論到哪個地方，都吟詩作賦，表達他的感受和心意。在郡上任職只一年，便稱有病離職。他的堂弟謝晦、謝曜、謝弘微等都寫信勸阻他。謝靈運根本不聽。
謝靈運祖父和父親都安葬在伯寧縣，那裡有他家的老屋和別墅。於是他自動改成會稽郡籍貫，在那裡修建房屋和莊園，他的居處前瞰環環的秀水，後背巍巍的大山，極盡幽深靜謐的風致。他和隱士王弘之、孔淳之等逍遙放縱，以此為樂，常有在這裡安度餘年的打算。他每一首詩被傳到京城，無論貴賤競相抄寫，一夜之間，官吏百姓便知曉熟悉了。遠近四方的人非常仰慕他，他的名聲震動京城。
文帝當皇帝，徐羨之等被殺，謝靈運被調為秘書監，兩次被召見，謝靈運都沒理睬。文帝派光祿大夫范泰寫信給謝靈運稱賞他，他才應召就任。文帝叫他整理秘書省的圖書，補增遺漏的地方，又因為有晉一代沒有一本完整的歷史書，所以叫謝靈運寫一本《晉書》，他寫出粗略提綱，但這書終究沒有寫成。不久又升任侍中，每天早晚被召見，很得文帝的寵愛。謝靈運的文章書法都獨步當時，他每次作文，都親筆抄錄，文帝稱他的文章和墨跡為二寶。既然自己是名人，謝靈運覺得自己應該參與朝政，開始被召見時，便這樣自許，但召見之後，文帝只把他當成一個文人而已。他每次和文帝在一起喝酒時，文帝不過讓他談論詩文而已。王曇首、王華、殷景仁等人，名聲爵位一直在他之下，卻同時被寵待，謝靈運心中不滿，往往推說自己有病而不上朝，只管修築池塘、種植花樹、移栽修竹、擺弄香草而已，他驅使為國家服勞役的人，簡直無休無止。出城遊玩，有時一天走一百六七十里，往往上十天不回來，既不上書請示，也不請假。文帝不想傷害大臣，暗示他主動辭官。謝靈運於是上表陳述自己有病，文帝讓他休假回到東方。他臨行之前，又上了一道奏疏勸文帝北伐。文章說：
從中原淪陷以來，一百多年，百姓淪落敵人之手，已被異族統治，先帝聰明神聖，憐憫中原人民苦難，希望蕩平河北，統一中國，讓中原撥亂反正，遺民重歸中華。但時運有變，大業未成，理想還未實現，先帝便抱恨而逝。況且先帝下葬不久，敵人便來侵略，有志忠義之人，誰不想激奮而起，為國報仇？但少帝時的執政大臣，才能平庸，只在朝廷製造混亂，哪裡顧得上先帝的囑托。於是邊城陷入敵手，無人願意赴援，忠貞為國之士被敵俘虜，黃河流域的大好河山，終於落入敵手，這些淪陷的疆土，都是先帝時開闢的，淪陷敵人之後，國家的這個恥辱應該被洗刷，現在應該準備做這個工作。況且敵占區的人民，窮困悲苦，敵人賦斂無度，沒有止境，人民如果不按時交稅，便被屠殺。要是他一身不能保命，則全家被株連，滿門遭殃，鄉親也會不幸。這些確實是叫善良的人們痛心不已憤慨之極的。
人們都說西邊敵人捨本逐末，出兵隴外，東邊的敵人北進，我軍可以趁機掩襲，待西邊的敵人返回後，我軍得以據有關中，包圍咸陽，敵人回來的路便已截斷，縱然想派兵支援，只能遠襲大城附近的我軍，以便內外相應。但是此時我軍有深山險關作為護衛，根本已固，即使敵人想增援，只不過丟下他的老巢，但並不能拯救他們自己。外面的敵人疲憊不堪，內面則空虛不守，關鍵的時機，沒有比這時更恰當的，炫耀兵力顯示武力，正在當時，如果和敵人相持不已，也許會生出意外事變，再遇到新的敵人，則和開始時機不同，如果不抓住這個好機會，就很難建立大功，即使兵力眾多，糧食充足，但是得勝的可能性不一定有了。縱觀古代歷史，都是以吞併弱小為契機進行統一的，古今的所有英雄沒有例外的，難道那時不是天時人事機會難得，興亡可以判明，正在當時。所以古人說：「既看見敵人有天災降臨，又看到他的矛盾重重，才可以打他的主意。」當年魏國的強大，平定荊州和冀州，不過是利用了劉表和袁紹的衰弱機會；晉國的強盛，消滅吳國和蜀國，也是利用諸葛亮陸遜們不在的時機，這都是以前固有的例子，在史書上寫得清清楚楚的。從後秦姚氏被平定以後，天下人都認為胡人會消滅。我們應該直指滑台，席捲敵人各個城市，讓敵人膽破心裂，然後指日平定北方。但是長安失守，潼關淪陷，敵人得以保命，延長他們生存的時間，從那時到現在，已十有二年，達到一紀的時期，所以我有前面的這些看法。況且五胡互相替代很快，他們的最後時期，正在明年。他們相互攻擊，我們應該加以利用，卞莊子刺虎的態勢，就好比今天的形勢。北方的人民仰望皇上的恩德，好像飢渴的人想飲水吃飯一樣，南望我朝，已很長很長時間了。人民重見天日的希望，確實在陛下的身上，這個機會不利用，以後便沒有了。盡避今日國家的儲蓄，確實不多，然而辦大事需要國家富強，不尋找機會，那是很容易做的，但是抓住機會更難得。現在的武器戰具多了，兵力擴充了，遠遠超過從前。至於出兵獲勝的成果，其中可以得到冀州的一百多萬戶口，以及充足的田地租稅。冀州的富饒，在《禹貢》裡便說得很清楚，先賢們創立的基業，巍巍尚在。那裡水源充足，平原上滿佈桑黍麥粟，那裡富足的物力人力，再清楚不過了。仔細為國家打算，這個收穫遠遠大於出兵北方的費用！
有人因為關中的失落，以為河北縱然得到也不能保衛。但是東方和西方的形勢，從裡到外都不相同。關西是多族雜居的地方，民族種類繁多，當年西漢時，國家便屯兵霸上，在甘泉宮建峰火台，況且現在遠方戍守的軍隊，還會遇到新舊交替的問題呢？河北全部是漢族百姓，沒有異族混雜，層層山嶺可以作為屏障，三道關卡作為大門，如果我軍騎兵北進，那麼沙漠上的異族便會遁逃，如果我們嚴兵守衛，則冀州像大山一樣堅固。當年隴西被匈奴襲擊，晁錯提出防守禦敵的方略，匈奴侵擾漢朝，賈誼慷慨陳詞。這都是遙遠的先例了。晉武帝不過是中等才能的國君，遇到孫皓虐待人民的好時機，也算是老天爺降福於他，更加因羊祜杜預等人出謀獻計，荀豈頁賈充等人的謀被拋棄而得以建立大功，因而統一天下的。況且皇上聰明聖智，天下百姓感恩戴德，文治武功赫然在目，威略德望遠遠流播，加上宰相們賢明，親王們高才，藩鎮勤勞王室，滿朝眾多虎將，更主要是遠方的人民敬慕皇上的恩德，有哪個敵人不被消滅，更何況是兇惡的鮮卑魏寇，現在他們正苟延殘喘的時候呢？臣下我希望皇上仔細考慮此事，快快定下決策。我不過是一個卑賤愚昧，像老鼠一樣逃竄於巖穴之中的人，只不過希望看見太平時世、泰山封禪的盛況重現而已。雖然我沒有司馬相如那樣的生花妙筆，但可以免除司馬談活著不能見封禪的遺憾，如果皇上採納我的建議，即使現在讓我馬上辭官回家，我也半點怨言也沒有。好久以來我便向皇上陳述這個看法，但害怕觸犯皇上，承蒙皇上恩賜讓我休假，暫時得以離開朝廷。我的消渴病已得十年，常常擔心突然去世，一直抱有這個願望，這裡才冒死啟明皇上。
謝靈運因病回到東方，但遊玩喝酒集會賦詩照舊，日以繼夜，他再次被御史中丞傅隆所彈劾，因此被免除所有官職，這年正是元嘉五年(428)。
謝靈運回到東方，和同族兄弟謝惠連、東海人何長瑜、穎川人荀雍、泰山人羊..之，因為相互欣賞對方的文章而結好。他們同遊山水，當時的人們稱他們為「四友」。謝惠連小時候便聰明有才氣，但性格輕浮，他父親謝方明一貫輕視他，謝靈運離開永嘉回到始寧，當時謝方明正當會稽太守，謝靈運從始寧到會稽拜訪謝方明，順便看望謝惠連，二人相見時都非常欣賞對方。當時何長瑜正教謝惠連讀書，也在這裡，謝靈運認為何長瑜文才舉世無雙，他對謝方明說：「謝惠連這麼聰明高才，而尊敬的叔叔卻把他當成小孩子看。何長瑜是當今的王粲，卻把他看成下等客人，尊敬的叔叔既然不能敬待客人，應該讓何長瑜跟我走。」於是謝靈運和何長瑜同坐車馬而去。荀雍字道雍，官至員外散騎郎。羊..之字曜..，官至臨川內史，很得司空竟陵王劉誕賞識，劉誕造反失敗後被殺。何長瑜文章的水平僅次於謝惠連，荀雍、羊..之則不及他們。臨川王劉義慶招集文人，何長瑜因此從王國侍郎升到平西記室參軍。何長瑜曾在江陵寫信給本家朋友何勖。用韻詩談論劉義慶州府的屬下官吏之一陸展說：「陸展染鬢髮，欲以婿側室。青青(黑髮)不解久，星星(白髮)行復出。」這樣寫的有五六首。於是輕薄少年們把這擴展開來。凡是當時的士大夫都被描寫，而且要加上戲謔的醜話，因此這種詩文大為流行。劉義慶看了大怒，叫文帝任命何長瑜當廣州下屬的增城縣令。到劉義慶死時，朝廷人士到他家弔唁，何勖對袁淑說：「何長瑜現在可以調回來。」袁淑說：「國家剛剛死了宗室賢人，你不應該想到流放的人。」廬陵王劉邵鎮守尋陽，讓何長瑜當南中郎行參軍，掌管秘書工作。何長瑜經過板橋時，遇到大風捲入水中淹死了。
謝靈運憑借祖父和父親的資本，家產豐足僕從眾多，先人的門生故吏加上有幾百。他開山挖湖，沒完沒了；翻山越嶺，總是到那些最幽深最險峻的地方去，哪怕千巖萬險，沒有一個地方不游到的。他每次登山都穿上木鞋，上山時便去掉前面的鞋齒，下山時則去掉後面的鞋齒。一次曾從始寧南面山峰砍樹開路，一直通到臨海郡，跟從他的有幾百人。臨海太守王..大為恐懼，以為來了造反的山民，不久知道是謝靈運才放心。謝靈運邀請王..一同遊玩，王..沒答應。謝靈運贈給王..的詩說：「邦君難地險，旅客易山行。」在會稽也有很多跟從，他總是驚動郡縣長官。會稽太守孟凱信仰佛教，誠懇認真，謝靈運很瞧不起他，且對他說：「成仙得道應該是有靈氣的文人，你升天一定在我謝靈運之前，成佛一定在我謝靈運之後。」孟凱非常憎恨謝靈運的這些話。
會稽東城有個回踵湖，謝靈運請求決干湖水做成稻田。文帝叫本地長官執行這個命令，湖泊離城很近，裡面出產很多水產品，孟凱不同意這樣作。謝靈運既然不能得到回踵湖，又要始寧縣山丕山皇湖做水田，孟凱又不同意。謝靈運認為孟凱不想做有利人民的事，而只考慮掘開湖泊會損害動物，言論中謝靈運傷害了孟凱，於是和孟凱結下了深深的仇恨。孟凱利用謝靈運放蕩不羈、侵擾百姓的事，上了一道奏疏說謝靈運想謀反，他本人則動用本郡軍人防守自衛。謝靈運聽說此事，馬上騎馬到京城上書說：臣下我自從帶病回家，到今天已經三年，居住的地方不在城市，和世人相隔很遠，呆在僻偏的窮山巖洞之間，幾乎中斷了和外界的聯繫。我安靜地保養性命，想過完剩下的年歲，突然於上月二十八日得知會稽太守孟凱二十七日的話：近來輿論紛紛，我這裡倒沒什麼，只是老百姓不安心，現在我作一些防備。看了這道疏我非常驚異，不知是怎樣造成的，便急忙回到京城投奔皇上，當我經過山陰城時，孟凱防衛得非常嚴密，整排整排的騎兵和步兵，手握長槍大刀，截斷大街小巷，東西偵察，紛紛嚷嚷。不知小臣我因什麼而犯了大罪使他這樣防範，我整天只有憂慮和恐懼。臣下當年僥倖做過皇上的侍臣，曾蒙受皇上的天恩，如果我罪過明顯或者文章中有叛逆證據的話，我願意被有關部門判處死刑，以便規正國家的法典。使普天之下，也不許有我立腳的地方。現在只以謠言作為我的罪證，這是多麼殘酷啊！自古以來，聖賢們也免不了被誹謗，但是招致誹謗，還是有原因的。或者不怕死亡重視義氣，或者結黨聚眾，或者稱雄鄉里，或者當劍客俠士，縱橫無忌。還從未聽說循規蹈矩的人，想去造反謀逆的，隱居的人，打算謀害皇上的。現有人捕風捉影，憑空造謠，從古以來的陷害，沒有比這更殘酷的。我並不是愛惜自己的生命，只是受不了其中的冤枉。我捫心自問並無什麼對不起皇上的事，但是抱著一肚子的冤屈無處申訴。所以帶病投奔皇上，讓您裁判。我希望皇上鑒定是非曲直，那麼即使我死了，也如同活著一樣。我整天擔心害怕，以致老病發作，神情恍恍惚惚，不知怎樣陳說。」
文帝知道他被冤枉了，所以沒有判他有罪，只是不想讓他回到東方，而讓他做臨川內史，且增加俸祿到兩千石。謝靈運赴任後仍然如故，和在永嘉太守任上時沒有兩樣，所以再次被有關人員彈劾。司徒派臨川王的從事鄭望生逮捕謝靈運，謝靈運反而抓住鄭望生，起兵叛逃，於是才堅決反叛。他寫詩說：「韓亡子房奮，秦帝魯連恥，本自江海人，忠義感君子。」最後他仍被追上和逮捕，被送到廷尉那裡定罪。廷尉上奏說謝靈運率領部眾造反，應處以死刑，文帝仍然愛惜他的才能，只想免去他的官職而已。彭城王劉義康堅持說不應該饒恕他，於是文帝下了一道詔書說：「謝靈運罪過深重，確實應該判處死刑。但念他祖父謝玄有功江南，應該原諒他的子孫，可以免去謝靈運的死刑，充軍廣州。」
之後，秦郡府將宗齊受走到塗口，途徑桃墟村，看見有六七個人在下面路上胡亂說話，懷疑不是好人。回來告訴郡縣長官，長官派兵隨同宗齊受掩襲討捕，於是和那些人格鬥，把他們全部捉住，投入監獄，其中一人姓趙名欽，山陰縣人，說：「本村人薛道雙先和謝靈運同過事，在去年九月初，薛道雙通過本村人成國告訴我說：『先前做臨川內史，現在犯法沖軍廣州的謝某，給我們錢財，叫我們買弓箭刀槍盾牌等武器，讓薛道雙結交鄉里的健兒勇士，在三江口劫奪謝某，如果得逞的話，大家功勞都一樣。』於是集合眾人篡取謝某，但沒成功。大家回來時很餓，只好沿路打劫。」有關部門又上奏按法逮捕謝靈運，文帝下詔書命令在廣州判他死刑，就地正法。謝靈運臨死時寫詩說：「龔勝無餘生，李業有終盡。稽公理既迫，霍生命亦殞。淒淒凌霜葉，惘惘沖風菌。邂逅竟幾何，修短非所憫。送心自覺前，斯痛久已忍。恨我君子志，不獲巖上泯。」他詩中稱述的龔勝、李業，好比前詩中說的子房、魯連。當時正是元嘉十年(433)，享年四十九。他寫的文章在社會上廣泛流傳。他的兒子謝鳳死得很早。