溫嶠字太真，司徒溫羨弟弟的兒子。其父溫，任河東太守。溫嶠聰明敏捷，有見識器量，博學而有文才，年少時就以孝悌被邦族之人稱讚。溫嶠體態俊美有風度，擅長談論，見到他的人都很喜歡他。十七歲時，州中郡中徵召他，他都沒有接受。司隸部門任命他為都官從事。散騎常侍庾豈名聲極大，但貪財聚斂，溫嶠上奏舉報他，京師為之震動，人人肅然。後舉秀才並舉灼然兩科。司徒任他為東閣祭酒，補上黨郡潞縣縣令。
平北大將軍劉琨的妻子，是溫嶠的姨母，劉琨非常喜愛器重他，請他擔任自己的參軍。劉琨陞遷為大將軍，溫嶠任從事中郎、上黨太守，加封建威將軍，負責督護前鋒軍事。領兵討伐石勒，數次建立戰功。劉琨升為司空，以溫嶠為右司馬。當時并州土地荒廢，盜寇群起，石勒、劉聰等輩佔領中原，征戰不休，在劉琨軍中，溫嶠是主謀策劃之人，劉琨多依靠任用他。
正值西晉傾覆，社稷崩危，宗廟祭祀將絕之際，元帝立足於江左，經略於南方，劉琨一片誠心繫於晉室，他對溫嶠說：「過去班彪知道劉家帝業可以復興，馬援認為漢光武帝是可輔之君。今天晉朝江山基業雖處在危急之中，但天命未改變，我想於河朔之地為國建功立業，讓你到江南為我宣傳，你能勝任嗎？」溫嶠回答說：「我溫嶠雖沒有管仲張良那樣的才華，但使朝廷和天下之人都瞭解你有齊桓、晉文之志，欲建恢復晉室重整乾坤之功，這是我不可推卸的責任，怎敢不受命。於是溫嶠以左長史的名義，傳檄於華夷內外，上表勸元帝登基立國。溫嶠到了南方，見到元帝，詳細陳說劉琨的一片忠心，志在報效朝廷，因為現在天下無主，這關係到萬民的人心向背和希望。溫嶠慷慨陳辭，滿朝為之矚目，元帝因之器重嘉獎他。王導、周豈頁、謝鯤、庾亮、桓彝這些重臣都和他很親近。當時江南朝廷草創，朝政機構和設施都不齊全，溫嶠為之深深地憂慮。等見到王導並在一起交談後，高興地說：「江南既然有了像管仲一樣的人，我還有什麼可憂慮的呢。」幾次要求返回劉琨部下，元帝不放他走。後劉琨被段匹石單害死，溫嶠上表申述劉琨的忠誠，雖然壯志未酬，功業未成，然而被害得家破人亡，應該予以表彰，以安撫鼓勵天下的有志之士。元帝同意了。
溫嶠被任為散騎侍郎。當初，溫嶠受命準備南下，他的母親崔氏堅決不讓他走，溫嶠扯斷衣襟而離去。過後母親去世，溫嶠因戰亂阻隔不能回去安葬，因此堅決推讓不接受任命，苦苦要求允許他北歸。元帝下詔讓三司、八坐等有關人員商討這件事，他們一致認為：「當年伍子胥為了報個人之仇，先假借諸侯之力，投奔了吳王闔閭，在吳國官任上將，然後領兵打回楚國，對楚平王掘墓鞭屍。像溫嶠這樣的母喪未葬且又淪陷於胡虜的情況，應該竭盡智能，依靠皇朝的威靈，使敵寇被消滅，然後返回安排墓葬，怎麼可以因個人的恩怨丟下朝廷復國的大事呢。」溫嶠沒有辦法，只好接受任命。
以後任驃騎將軍王導的長史，遷太子中庶子。到了東宮輔佐太子，深得太子寵敬，兩人建立了布衣之交。他數次上表規諫。又獻上《侍臣箴》，作用相當大。其時太子在西池修建樓台館所，耗費勞力錢財巨大。溫嶠上疏規勸說現在朝廷初立，強敵未滅，應當節儉為天下做表率，務農興稼，重兵經武。太子採納了這個建議。王敦領兵反叛進逼京師，前往討伐的軍隊都打了敗仗，太子要親自出戰，溫嶠攔在馬前拉住韁繩勸諫說：「臣聽說善於作戰的人不輕易發怒，善於取得勝利的人往往不是憑借武力。萬乘之君的繼承者怎麼可以身冒險而置天下於不顧。」太子這才罷休。
明帝即位後，溫嶠官拜侍中，朝廷重要決策都由他參與制定，詔書命令等公文都由他參與起草審定。接著又轉為中書令。溫嶠擔負著朝廷的重要使命，如棟樑一樣，明帝非常信任並依靠他，所以王敦對此很不滿意，溫嶠因而自請為左司馬。王敦擁兵不朝，恃強驕橫不受約束，溫嶠勸諫他說：「過去周公任相輔佐年幼的成王，吐哺握發，辛勞謹慎，哪裡是他喜歡勞累厭惡安逸呀，是因為肩上有重擔不得不如此啊。自從你回到京師，入朝輔政，不行拜謁皇上之禮，不注重以臣侍君的儀規，你這樣不體諒聖上之心，人們無不感到憂愁不安。古時帝舜服侍唐堯，大禹竭盡全力服從虞舜，周文王力量雖然很強盛，但以臣禮侍紂王一點也不馬虎。所以對部下有大德的人，必定對上有忠心，這樣就會使美好的節操品行傳之百世，讓風流佳名受到萬代的敬仰。聖人留的遺教陳規，不應有絲毫的疏忽。希望你能想一想舜帝、大禹、文王這些賢君的侍君之榜樣，能像周公旦那樣吐哺握發，竭盡忠心擁戴聖上，就將是天下的大幸啊。」王敦不聽勸告。溫嶠看到他始終不知悔悟，於是偽裝對他敬重，言聽計從，攬下他府中的公事，獻計獻策，以順從他的旨意。溫嶠和錢鳳深交結納，讓他為自己說好話，並處處稱譽錢鳳，常說：「錢世儀生氣勃勃，滿腹經綸。」溫嶠素來被人們認為有知人之能，他這樣一誇錢鳳，錢鳳非常感激他，也主動和溫嶠親熱起來。當時正值丹楊郡缺少一個丹楊尹，溫嶠對王敦說：「丹楊尹掌管京師，如朝廷之喉舌，任職的人一定得文武兼備，你應該親自選擇才行，要是讓朝廷任命，怕不好控制。」王敦很贊同，問溫嶠誰可擔當此任，溫嶠說：「我認為錢鳳可以任用。」錢鳳反過來又推薦溫嶠，溫嶠假意推辭，王敦不聽，上表讓溫嶠補了丹楊尹之職。溫嶠還是擔心錢鳳一旦明白過來會阻撓，就在王敦為他舉行的餞別宴會上，起來敬酒，來到錢鳳席前，錢鳳還未來得及飲，溫嶠假裝酒醉，用手把他的頭巾打落，怒形於色說：「你錢鳳是什麼了不起的人，我溫太真敬酒你竟敢不接受！」王敦真當溫嶠醉了，於是把他們勸解開去，臨走時，握手話別，痛哭流涕，出了大門又進來，反覆幾次，然後才上路。等他起行後，錢鳳進來對王敦說：「溫嶠和朝廷關係密切，和庾亮是至交，恐怕難以信任。」王敦說：「溫太真昨天是醉了，和你產生了一點小衝突，怎麼能就因這點小事在背後說他的壞話呢。」就這樣錢鳳未能得逞。溫嶠以計回到京師後，向皇帝匯報了王敦將要叛亂的情況，請朝廷要有應變的準備。
到王敦叛亂時，朝廷任溫嶠為中壘將軍、持節、都督東安北部諸軍事。王敦在給王導的信中說：「溫太真離開我才這幾天，竟做出這樣的事。」王敦上表請誅殺朝中奸臣，第一個就是溫嶠。懸賞捉命，誰要捉住了溫嶠，他要親自割下溫嶠的舌頭。等到王含、錢鳳都到了城下，溫嶠就燒了朱雀門外的木橋，以挫其鋒芒。明帝為此發怒，溫嶠說：「目前我們防守力量薄弱，援兵還未趕到，要是賊兵突然攻城，天下社稷就難保了，陛下何必可惜那一座橋呢。」敵兵逼進河邊，果然因橋毀而不能渡河。溫嶠親自率軍背水與敵作戰，攻擊王含，打敗了他，又督促劉遐追擊錢鳳直到江寧。等到事變平息，封為建寧縣開國公，賜絹五千四百匹，進號前將軍。
當時按制度將王敦部下綱紀主簿之綜理府事的屬官削除名籍，參佐僚屬都予以禁錮，溫嶠上疏說：「王敦剛愎不行仁義，殘忍多行殺戮，親信任用小人，疏遠君子，朝廷不能控制他，親人骨肉也不能容忍他。他在朝中人們都擔心自己的安危，因此人人不敢講話，路上見面只能以目光示意，確實使正人君子到了山窮水盡無路可走的境地，進入隱居不出等待時機的時期。王敦行叛逆之時，強迫士人為之效力，這些人自己無法擺脫，把真心都掩蓋起來，哪裡有安穩的時候呢。如陸玩、羊曼、劉胤、蔡謨、郭璞常對我講起，我詳細地知道這些情況。必定要嚴厲制裁，那自然有犯罪的人來承受，如果是迫不得已或誤入奸黨之中的，應該予以寬大。再說陸玩這些人一貫忠於朝廷，陛下也瞭解他們，如果讓他們也同叛賊一樣受到懲罰，這不是冤屈了他們嗎？陛下仁愛心胸寬廣，辦事要求公允。臣平時交往廣博，所操心的也不是我的分內之事，只是由於愛惜人才，不忘為朝廷著想以盡忠心。」明帝聽從了他的建議。
當時天下百業凋敝，國家財政費用嚴重缺乏，明帝下詔讓公卿以下的官員到京都討論時政，確定哪些是最要緊的事情。溫嶠奏明軍政要務。第一點是：「祖約目前退守壽陽，恐怕不久將有禍亂。現在兩邊防守，成功還比較容易。淮泗之地的都督軍事，應全力予以資助。挑選享有盛名之士，配置徵兵五千人，又為之擇一偏將，領兵四千，以增強壽陽的力量，這樣可以保證徐州豫州的安全，並隨時可以馳援司州。」第二點是：「一個農夫不耕田，將會有人挨餓，現在不事農耕的農夫，數以萬計。廢除了春天勸農之制，冬季催租之令又特別嚴厲，沒有見到給百姓什麼好處，只聽說向百姓要賦稅。賦稅當然不能沒有，可應該考慮怎樣使百姓們富裕起來。司徒之下設置田曹椽，每州一人，專管勸農桑興稼穡，考察下面官吏興農的才能業績，如今應依舊制重新設置。一定選擇那些清廉公正克己奉公，並完全能夠傳達朝廷的恩惠和教化的人，這樣好處是很大的。」第三點是：「各外地州郡將領士卒及都督府不上戰場的軍隊，一面屯墾一面守士。先朝曾使軍營中兼耕農田，現今前、後、左、右四軍軍營有兵的，以及護軍所統領的外州之兵，可分出二軍來，駐紮到要塞之地。沿江上下，到處都有良田，讓軍隊開荒，只須一年時間耕種就容易了。再者軍人有妻室兒女家庭負擔的，如果有軍在打柴種菜幫助家庭的，也可以予以方便。」第四條是：「設置官職是為了治理國家，不能以此做人情，這樣就會官員不多而人才精幹。周時制度是六卿舉事，春秋之時，官事入朝則任卿輔，出外則可統率三軍。後代官職設置越來越多，是由於事類有繁簡的變化。然而現今江南只有六州之地，尚且多有荒殘，和過去承平之時相比，只能是十分之一。朝中三省及軍校機構中已無兵員的，九府各寺署下屬部門，可以相互合併，這樣省去一半的人力財力，只是粗略地平衡一下工作任務的輕重繁簡，然後可根據實際情況隨時調整。已經荒廢殘敗之縣，如同在一城的，就將它們合併。這樣選擇守宰就可以求精，而他們的俸祿也可以隨之提高，先給了他們較高的俸祿，然後就可要求他們清正廉明瞭。」第五點是：「古時天子親自耕田，以所產糧米作祭品，舊時設置有籍田、廩牲之官。今天需要供品臨時去購買，上對神靈不恭敬，下耗費民財，這不是虔誠供奉宗廟的祭祀之法。應該恢復舊制，設立籍田、廩牲之官。」第六點是：「越是派往邊遠地方的使臣，越要選能幹忠心的人，這才能宣揚王化，延譽四方。因為人們都不樂意到偏遠地方去為官，所以就派那些品低位卑的人，這將會有辱國命，產生後患。因此要特別重視這類官員的選擇，不能讓俸祿不到二千石的人去擔當二品的職務。」第七點是：「有罪不加株連，是古時的制度。近來一些大逆大罪，實在是由於治罪過嚴所引起的。處刑過重，只能作一時權宜之計，現在施行重刑，並非是聖明之朝的法典，應如先朝那樣，廢除夷三族的制度。」經過大家議論奏請，這些建議多被採納。
明帝病重，溫嶠和王導、郗鑒、庾亮、陸曄、卞壺等同時受詔委以後事。當時歷陽太守蘇峻收藏亡命之徒，朝廷對他不放心。征西將軍陶侃在荊楚極有名聲威望，所以對西夏方面要有所提防，因此派溫嶠扼守上流成支援之勢。鹹和初年(326)，溫嶠代替應詹出任江州刺史、持節、都督、平南將軍，鎮守武昌，政績非常顯著。他區別各類人才任用賢能，親自祭弔後漢名士徐孺子之墓。上表陳說：「豫章是江州十郡中最為重要的地方，應設置刺史專門管理。尋陽緊依大江，都督應該坐鎮於此。現在都督府與州府在一起，於兩者進退都不方便。而且古代鎮守將領多不兼領州府之事，這是因為武將文臣各自責任不同的原因。最好是單獨選派一刺史專門掌管豫章郡，以負責地方上的事務，管理百姓。」朝廷下詔不同意這樣做。在江州看到了王敦的畫像，說：「王敦大逆無道，應該啟棺戮屍，受到齊國逆臣崔杼一樣的處罰。古人蓋棺而後定論，《春秋》遵循常道，崇散王父之命，哪有被天子處以大刑的人，還把畫像保留在下面的道理。」命人把畫像削去。
溫嶠聽到了一些有關蘇峻的消息，擔心會有事變發生，請求回朝作準備以防不測，朝廷沒有答應。不久蘇峻果然起兵反叛。溫嶠屯兵尋陽，派遣督護王愆期、西陽太守鄧岳、鄱陽內史紀瞻等率水軍前往救援京師。等到京師淪陷，溫嶠聽到消息後放聲痛哭，有人前來探望，他和探望的人相對悲泣。不多時庾亮逃奔而來，對他宣讀太后詔書，加封溫嶠為驃騎將軍、開府儀同三司。溫嶠說：「今日這樣危急，應以消滅賊寇為行，我寸功未建而蒙受殊榮，這是前所未聞的事，怎好向天下人交待呢。」堅決不接受。當時庾亮雖是投奔而來，溫嶠處處敬重他，分兵讓他統領。派遣王愆期等邀陶侃同赴國難，陶侃惱恨明帝臨終顧命未召他參與，不支持此事。溫嶠開始就依從了陶侃，後來用部將毛寶之謀，再次勸說陶侃，其語在毛寶傳中。開頭，溫嶠與庾亮相互推為盟主，溫嶠的從弟溫充對他說：「征西將軍陶侃位高兵強，應該推舉他為盟主才對。」溫嶠於是派王愆期去見陶侃，請他為盟主靖亂。陶侃同意了，派都護龔登率兵見溫嶠。溫嶠於是給尚書上書，陳述蘇峻的罪行，帶領七千人馬，灑淚登舟，並佈告四方各鎮：
「賊臣祖約、蘇峻狼狽為奸，同流合污，心生邪念。上天會奪去他們的魂魄，他們的死期就要到了。他們遭到天地的譴責唾棄，自絕於天下之人。賊寇不能讓他們隨意橫行，應增兵予以討伐捕剿。我則先屯兵湓口。當時護軍將軍庾亮來到江州，宣太后之詔，由於賊寇進逼宮城，致使王師敗績，詔告外郡藩國諸大臣，出謀出力以安社稷。後將軍郭默、冠軍將軍趙胤、奮武將軍龔保和我溫嶠部下督護王衍期、西陽太守鄧岳、鄱陽內史紀瞻，率其所部，相即而到。叛賊逞兇，侵陵宗廟，火燒宮掖，箭射太極宮，皇帝皇后被幽禁威逼，宰相大臣處於困境，叛賊殘酷的虐殺朝臣，劫掠百姓。人們一提到這悲慘的災禍，無不魂飛魄散。我軟弱無力，不能以身殉難，自覺愧疚，心內哀傷，辜負了先帝臨終時的囑托，決意全力以赴，死而後已。今天親自統率所屬部下，為士卒之先，催進各路人馬，一起掃蕩叛軍。西陽太守鄧岳、尋陽太守褚誕等接踵而來，宣城內史桓彝已領所部駐守江邊要塞，江夏相周撫決定起兵征討，大軍已經出發。
「過去申包胥是楚國的微臣，萬里奔波不辭勞苦以報效國家，其忠義之舉感動了諸侯。藺相如開始也只是趙國的一個小卒隸，恥於國君被辱，在秦庭按劍而起。漢朝之末年，董卓作亂，劫持獻帝遷都，肆意迫害忠良，關東州郡的豪傑相繼而起，會盟以討賊。廣陵功曹臧洪，本是郡中一位小吏，登壇歃血盟誓，熱淚縱橫，慷慨悲壯，使當場之人受到極大的鼓舞。何況今天我們這些人居高位，守州郡，列於名邦，世受國家之恩呢！不期而會，不謀而同，齊心滅賊，這樣才對啊。
「祖約、蘇峻二賊的兵力合起來，也不過五千，而且外要防胡虜的乘機入寇，內要對付城中無糧之饑，後將軍郭默已於陣前消滅了敵軍達千餘人。逆賊雖然破壞了都城宮室，可城中原宿衛之兵當時就解散了，不為敵軍所用。而且祖約性格多疑氣量狹小，刻薄不仁，蘇峻這小子唯利是圖，殘暴凶狠，他們之間貌合神離，只不過是臨時的相互利用。江左諸郡興起討賊義師，以攻其正面，胡人乘機從背後發起攻擊，我們再切斷水路漕運，使敵人缺乏糧食等軍需物資，這樣內虛外孤，他們還能長久嗎？「
諸公一起討伐，是為了衛國雪恥。征西將軍陶侃，德高望重，忠義顯著，功勳卓越。各鎮首領齊心協力，有斷金之銳，大家一心一意，統一行動，報仇雪恨，匡扶社稷，不顧生死。溫嶠雖是怯弱無能，愧守一方，但依賴忠誠賢能之士的扶佐，文武臣僚的協助，君子盡智獻忠，小人出力，高蹈林泉之人布衣而從戎，打柴種地的躬身前來聽命，他們或帶著家僮私僕，或攜著自家的刀槍棍杖，人們的一腔忠誠，寫也寫不完啊，這哪裡是無德的溫嶠所能辦到的。現今士大夫懷忠抱義，庶民百姓感戴皇恩。再有護軍將軍庾元規公，是帝之大舅，德隆望重，率後將軍郭默、冠軍將軍趙胤、奮戰將軍龔保三將，與我溫嶠並肩作戰。得到他們的支持，使人又悲又喜，如同朝廷依然存在一般。諸將各自統帥其部，不要耽誤了軍機。賞賜的諾言如日月一樣高懸。有能斬祖約、蘇峻的人，封五等候爵，賞布萬匹。人以忠為德，以仁立身，各自遠隔萬里，僅此一書，忠義之責就不再講了。」
當時陶侃雖答應親自領兵東下，但一直沒有動靜，並又讓已來江州的龔登回師。溫嶠又給陶侃寫了一封書信。信上說：
「我聽說軍隊出發只能前進不能後退，人數只可增加而不應減少。近日已將討伐檄文傳佈遠近，也在盟府之中宣佈，等月半之後大舉征討，南康、建安、晉安三郡之軍正在路途之中，火速趕來會師，只等你來行使指揮之權，便大軍齊發。現你把龔登之軍調回，使遠近諸郡為之疑惑，成敗之由，就在此一舉。
「我才薄而任重，實在是仰仗著你的厚愛，秉承著你的規範。至於說首倡舉義，當是不敢推卸的責任。我與你現如常山之蛇，首尾一體，相互依存，是唇齒一般的關係。恐怕有不明白的人不瞭解這深奧的道理，認為你對討賊之事不積極，這輿論一旦傳出，要追回來就難了。我與仁公一起受朝廷重托，擔方岳之任，休戚安危，理應同當。況且你我往來密切，情深意厚，士人都這樣議論，如果我一旦遭遇危急，就指望仁公全師馳援，何況今天是同赴國家之難呢。
「我今天偏領一州之地，州中文臣武將無不盼望你的到來。假如我江州失陷，祖約蘇峻派人佔據此地，荊州西對強大的胡虜，東抗祖、蘇逆賊，再碰上饑荒，將來的危險恐怕遠遠超過我今天面臨的危險。從國家大義方面來講，社稷顛覆，君主受辱，臣應以死報之。仁公進一步想，為大晉之忠臣良將，承齊桓、晉文之義，保國衛家，大功當銘於天府之上；退一步說，也只當慈父雪自己愛子之恨。
「祖約、蘇峻兇惡無道，囚禁士人，剝衣令其裸體。近日逃奔而來的，其慘狀不忍目睹。骨肉分離，痛感天地，眾心一致，切齒向敵。今日之進剿，猶如以石擊卵。如出兵遲緩，再把士卒召還，會使人心離散，將使大事敗於將成之時。希望仁公深察明鑒，不負三軍之望。」
當時蘇峻殺害了陶侃的兒子陶瞻，陶侃被激怒，遂親領大軍與溫嶠、庾亮一起向京師進發，總共有士卒六萬，旌旗相望前後達七百餘里，金鼓之聲震於百里之外，大軍直逼石頭城，屯於蔡洲。陶侃駐紮查浦，溫嶠屯兵於沙門浦。當時祖約佔據歷陽，與蘇峻首尾相呼應，見到溫嶠大軍勢力強盛，對其同黨說：「我早先就知道溫嶠會像齊孟嘗、趙平原、魏信陵、楚春申這四公子一樣行事，今天果然如此。」
蘇峻聽說溫嶠大軍將到，逼迫皇帝大駕遷到石頭城。當時蘇峻軍中多是騎兵，而江南的軍隊多是水兵，倚仗舟楫，不敢輕易與騎兵交鋒。用將軍李根之計，佔據白石山築營壘鞏固自己的陣地，讓庾亮於此固守。敵人步騎萬餘人來攻，不勝而退，出兵追擊斬首二百餘級。溫嶠又在四望磯築營壘以逼近敵方，他說：「賊兵定會來爭奪，我們設下埋伏以逸待勞，是制敵的妙方。」當時各路義軍多次失利，溫嶠軍中無糧，陶侃生氣地說：「使君當初說不愁無兵無將，只要老僕我來領頭就行了。現幾次戰敗，你的良將在哪裡？荊州面臨強胡西蜀兩大勁敵，備有餘糧以防不測，在這裡再無飯吃，我就帶兵回荊州，再想別的辦法，等今年過了再討賊也不算晚。」溫嶠說：「不對，自古以來的教訓，取得勝利在於人和心齊。漢光武帝勝於昆陽，曹孟德公攻克官渡，以寡敵眾，都是因為仗義而戰。蘇峻、祖約這小丑，為海內人人所痛恨，今日之舉，取決於關鍵一戰。蘇峻有勇無謀，依仗小勝驕橫不可一世，自認為無敵可擋，今天與之決戰，可一鼓擒之。怎能捨棄即將到手的成功，萌生退兵之念呢！況且天子落入賊手，社稷傾危，四海忠臣，肝腦塗地，我和你並受國恩，現在正是為國效力之時。今天如果取勝，則是我們君臣共同的福氣，若是失敗，身為飛灰，也不足以報答先帝的恩德，今天之事，沒有回頭的可能，已騎到猛獸背上，還能下來嗎！影響了鬥志破壞了大事，義軍的矛頭將會指向你了。」陶侃無言可答，就沒有離去。
溫嶠於是修建了行廟，大設壇場，設祭告於皇天后土祖宗之靈，親自登壇宣讀祝告之文，語氣激昂淚流滿面，三軍將士不敢抬頭觀看。當日陶侃指揮水軍進攻石頭城，庾亮、溫嶠率精兵一萬從白石山這裡挑戰。當時蘇峻慰勞將士，飲酒大醉，在陣前馬突然摔倒，被陶侃部將所殺。蘇峻之弟蘇逸及其子蘇碩閉城不出。溫嶠乃重建行台機構，佈告天下，凡是過去臣吏二千石、台郎御史以下都來報到，於是來者雲集。司徒王導奏明皇帝，任溫嶠、陶侃錄尚書事，賊將匡術獻出台城投降，被蘇逸攻擊，向溫嶠求救。江州別駕羅洞說：「現在洪水猛漲，趕去援救恐怕不方便，不如去攻打榻杭，榻杭之敵軍若被我打敗，匡術之圍也就解了。」溫嶠採納了，於是就擊敗了石頭塬敵軍。奮威長史滕含抱著天子跑到溫嶠船上。當時陶侃雖被推為盟主，而實際謀劃安排都靠溫嶠。等亂平賊滅，溫嶠被封始安郡公，食邑三千戶。
當初，蘇峻之黨徒路永、匡術、賈寧中途都率眾歸降，王導準備獎勵他們，溫嶠說：「匡術這些人率先叛亂，罪大惡極，後來雖然改悔，但也抵不了先前的罪行。讓他免受大刑，就非常寬大了，怎能再予以獎賞。」王導只好作罷。
朝臣議論要把溫嶠留在朝中輔政，溫嶠因先帝已托付了王導，推辭返回江州。又看到京都殘破不堪，物資缺乏，於是籌借了一批物資，添置了宮廷的器用，這才返回武昌。走到牛渚磯，見水深不可測，都傳說水下多怪物，溫嶠就叫人點燃犀角下水照看。不一會兒，只見水中怪物前來掩火，奇形怪狀，還有乘馬車穿紅色衣服的。這天夜晚夢見一個人對他說：「我和你幽明有別，各不相擾，為什麼要來照我們呢？」看樣子很憤怒。以前溫嶠牙齒有病，這時把牙拔了，因此中風，到達鎮所不到一旬而逝，終年四十二歲。江州老百姓聽到他去世的消息，無不相對而泣。成帝下冊書說：「朕以卑微之身，繼承大位，不能弘揚大道，使天下太平，致使狂賊滔天，社稷不穩。只有公英明深識，撫民經世，擔心朝綱紊亂，痛恨奸寇的暴行，倡導舉義，五州響應，首啟征討，消滅賊寇，王室危而復安。三光暗而復明。功垂宇宙，勳蓋天地。正要依靠棟樑以拯救華夏，天不憐惜我，使公英年早逝，朕心中萬分悲痛。褒揚美德銘記功勳，是先王的典則，今追贈為侍中、大將軍、持節、都督、刺史，郡公如故，賜錢百萬，布千匹，謚為忠武，祠以太牢。」
當初葬於豫章，後朝廷追懷溫嶠的功德，要在元帝、明帝陵北為他造大墓。陶侃上表諫道：「已故大將軍溫嶠忠誠顯於聖朝，勳義感於人神，不是我的筆墨所能表述的。他臨終之前，寫信和我告別，我藏於書箱之中，常常取出觀看，每讀一次，就會中夜撫胸難眠，臨餐難以下嚥。『人之將死，其言也善』，溫嶠就是如此。現將溫嶠之書信抄錄呈上，望陛下躬垂御覽，以明溫嶠死不忘忠，身入黃泉，追恨國恥。將臣努力，救濟艱難，使亡者有知，結草啣環，怎會樂於今天的勞費之舉呢。願陛下慈恩，停止移柩改葬，讓溫嶠棺柩免受風波之危，靈魂安眠於地下吧。」皇帝下詔採納了。其後溫嶠後妻何氏卒，其子溫放之運送棺柩還都，下詔葬於元帝建平陵之北，並贈溫嶠前妻王氏及後妻何氏始安夫人印綬。
溫嶠之子溫放之承襲了爵位，年輕時任清要之官，後一直遷升到給事黃門侍郎。因家中貧困，京中花費大，求出任交州，朝廷同意了。王述給會稽王司馬昱上表九虎說：「放之是溫嶠的兒子，應該予以優待，現遣往嶺外，這樣聲望與職位就可以統一了。」當時竟沒有採納。溫放之到了南海，威恩兼重。朝廷要征討林邑，交趾太守杜寶、別駕阮朗不服從調遣，溫放之以損喪士氣的罪名殺了他們，接著領兵進發，滅掉林邑而還，後死於任上。其弟溫式之，封新建縣侯，位至散騎常侍。
江州老百姓聽到他去世的消息，無不相對而泣。