謝尚，字仁祖，為豫章太守謝鯤之子。從小就有孝親之情。七歲喪兄長，其哀慟之態超出禮法，親戚無不感到奇異。到八歲，顯得聰明早熟。謝鯤曾攜帶謝尚為賓客餞行，有客人說：「這小兒乃是座中的顏回啊。」謝尚應聲答道：「座中無仲尼，怎能辨別出顏回！」一席賓客無不驚歎。十餘歲，逢父喪，丹楊尹溫嶠來家弔唁，謝尚號啕大哭，哀傷至極。之後擦乾眼淚訴說經過，舉止言語大異於尋常兒童，溫嶠十分看重。及至長大成人，聰明坦率智能超群，分辨理解無與倫比，行為灑脫不拘細節，不做流俗之事。喜歡穿繡有花紋的衣褲，叔伯們責怪他，他因此改掉了這一嗜好，於是顯名於世。謝尚擅長音樂，廣通多種技藝。司徒王導十分器重他，把他比做王戎，常稱他為「小安豐」，召為屬官。承襲父親封爵鹹亭侯。謝尚剛到司徒府通報名帖，王導因為府上正有盛會，便對他說：「聽說你能跳《鴝鵒舞》，滿座賓客渴望一睹風采，不知你可否滿足眾人意願？」謝尚說：「好。」便穿好衣服戴上頭巾翩翩起舞。王導讓座中賓客拍掌擊節，謝尚在廣眾之中俯仰搖動，旁若無人。謝尚就是如此率直任意。
謝尚遷職西曹屬。其時有一些人因戰亂遭逢父母離絕的不幸，議論者中有人認為做官管理國家大事，婚姻延續百代世系，在道理上並無妨礙。謝尚議論說：「典法禮儀的建立，都是遵循情理，開啟弘揚禮義道德。如果命運中遇到艱難不幸，就應該以大義作決斷。無後之罪，天地所不容，婚姻家庭乃是延續世系光大宗族的根本，這無疑不可阻滯。至於親屬生離的悲哀，父子死別的痛苦，悲痛之沉重，莫過於此。因身患不適的小病，尚且有損於視聽，使人忘卻思索考慮，更何況懷抱傷心之巨痛，悲哀之至憂，方寸已亂，怎能管理國家政務呢！有良知的人決不貿然謀求榮耀利祿。貪圖利祿榮耀這一類，也決非是有良知的人所追求的本旨，只會開啟輕薄之門而長流弊之風。那些執意隱居田園不求仕進、守志不改的人，尚且應推崇他們的節操以弘揚高潔的風尚，更何況那些含悲懷痛的不幸之人，還要去鼓勵他們謀取盎貴榮耀嗎？」
謝尚遷職會稽王友，入朝補任給事黃門侍郎，出任建武將軍、歷陽太守，改任都督江夏義陽隨三郡軍事、江夏相，將軍封號不變。當時安西將軍庾翼鎮守武昌，謝尚多次前往庾翼處商議謀劃軍事。曾與庾翼一起練習射箭，庾翼說：「你如果射中箭靶，我就將我的鼓吹贈送給你。」謝尚應聲拉弓，箭中靶心，庾翼當即將他的副鼓吹送給了謝尚。謝尚為官清廉，理政簡易，剛到任，郡府用四十匹布為謝尚造烏布帳。謝尚將其拆散，拿去為將士們做了衣褲。建元二年(344)，朝廷下詔書說：「謝尚早先因征戰戍邊的需要，所以免去了其黃門侍郎之職，而授予他以軍中職務。謝尚所處形勢險要，應提高其威信聲望。現任命他為南中郎將，其餘官職不變。」適逢庾冰病逝，朝廷又命謝尚以原本職號都督豫州四郡，兼江州刺史。不久又改任西中郎將、督揚州之六郡諸軍事、豫州刺史、假節，鎮守歷陽。
大司馬桓溫打算北伐中原，派謝尚率部進攻壽春，晉號為安西將軍。當初，苻健部將張遇向謝尚投降，謝尚對他不加安撫。張遇十分惱怒，舉起反旗佔領許昌。謝尚率兵討伐，為張遇所打敗，謝尚被送交給廷尉治罪。當時康獻皇后臨朝執政，就是謝尚的外甥女兒，特令將謝尚降職為建威將軍。開始，謝尚前往壽春，派建武將軍、濮陽太守戴施據守枋頭。適逢冉閔之子冉智與其大將蔣干來歸附，又派使者劉猗前往謝尚處請求援救。戴施留住劉猗，詢問求取傳國璽，劉猗返回，將事情原本告訴蔣干。蔣干認為謝尚已敗，無法援救自己，便猶豫不決。戴施派遣參軍何融率壯士一百人衝破包圍進入鄴城，登上三台幫助守城，何融騙蔣干說：「現在可以把傳國璽交付給我。強寇在城外，道路封鎖難行，我等也不敢貿然運送傳國璽，可派一名使者衝出城去奔告朝廷。天子聞知傳國璽已在我處，知道足下等人至誠之心，必定派遣大軍救援，並將厚封足下等人。」蔣干便把傳國璽交給了何融，何融攜帶傳國璽奔馳而去返回枋頭。謝尚派振武將軍胡彬率三百騎兵迎接傳國璽，送至京師。當時苻健部將楊平戍守許昌，謝尚派兵襲擊許昌，打敗了楊平，謝尚被徵召回朝，授職給事中，賞賜軺車、鼓吹，戍守石頭城。
永和年間(345～356)，謝尚陞遷尚書僕射，出任都督江西淮南諸軍事、前將軍、豫州刺史，給事中、尚書僕射不變，鎮守歷陽，加封都督豫州揚州之五郡軍事，在任頗有政績。上表天子請求回朝，因而留任京師，代理尚書僕射事。不久謝尚晉號為鎮西將軍，鎮守壽陽。謝尚於是搜集查訪民間樂人，並製造石磬，為朝廷準備太樂。江南一帶有鐘石之音樂，是從謝尚開始的。
桓溫北伐平定洛陽，上疏朝廷請求任命謝尚為都督司州諸軍事。謝尚準備前往洛陽守城，因病未上任。昇平初年(357)，謝尚又被任命為都督豫、冀、幽、並四州。病重，徵召回朝拜官衛將軍，加散騎常侍，未至，病逝在歷陽，終年五十歲。朝廷封贈為散騎常侍、衛將軍、開府儀同三司，謚號為簡。
謝尚無子，堂弟謝奕將兒子謝康過繼給謝尚承襲其爵位，謝康早死。謝康之弟謝靜又以其子謝肅為繼嗣，又無子。謝靜之子謝虔又以其子謝靈..作為謝鯤謝尚的後人。