桑維翰，字國僑，洛陽人。父親名拱，在河南尹張全義手下做客將。桑維翰身材短小面部寬長，非常人之形，成人以後，每每對著鏡子自己歎息說：「身高七尺的人，哪比得上臉長一尺的我！」因此慨然有做三公輔相的志向。
後唐莊宗同光年間，考中進士。後晉高祖石敬瑭統領河陽，桑維翰被徵召做書記官，歷經幾個城鎮他都跟隨著，到石敬瑭在太原登上帝位，桑維翰首先參與謀劃，石敬瑭又派他寫信向契丹請求援救，契丹果然答應了請求。不久因為趙德鈞也派使節去問候契丹，晉高祖害怕契丹改變計策，就命桑維翰到契丹幕帳去，闡述始終如一利害相關的道理，那盟約才確定下來。晉高祖建立國號，詔令桑維翰任翰林學士、禮部侍郎，主持樞密院事務，不久改任中書侍郎、平章事、集賢殿大學士，擔任樞密院使。高祖駕臨夷門時，范延光佔據鄴地反叛。張從賓又從黃河、洛河舉兵向都城進攻，人心浮動紛亂。當時，有人監視著桑維翰。桑維翰從容自若，談人論事，和悅如常。人們都歎服他的氣量膽識。
到楊光遠平定鄴地，朝廷擔心驕兵難制，桑維翰請求趕快分散他的兵馬。不久調楊光遠鎮守洛陽，楊光遠因此此怏怏不樂，上奏疏指斥桑維翰背公徇私，任免不當，又在兩都之地營建宅邸市鋪，與老百姓爭奪財利。高祖正遷就朝外將領，事情不得了結，只好任桑維翰為檢校司空、兼侍中，出任相州節度使。當時是天福四年(939)七月。在此之前，相州管區內凡抓獲盜匪賊寇，全都沒收他們的財產，說這是河朔原有舊例。到桑維翰擔任鎮守，因法律條款無此明文規定，便廢止這一舊例並上奏朝廷。高祖詔令：「桑維翰輔佐皇帝功高，面臨戰事可寄重任，廢除一地的舊事，符合天下的通規，況且對盜匪賊寇的處罰，法律條令都有記載。如若為了安撫萬民百姓而使各地安定，豈可忍心因加罪一人而連及破毀一家。聽從文武百官的美好計策，可以成就國家的大事，這既佐助了王道的實現，又切合人們的心願。今後，凡有賊匪一律按照法律條款定罪。不得沒收繳納他的家財，全國各州都按此處理。」從此，搶劫犯的家庭，都免除沒收財產的處罰，這是桑維翰的功勞。過了一年多，調任鎮守兗州。
這時，吐谷渾都督白承福被契丹威迫，率領徒眾入關，依附後晉，高祖正與契丹往來和好，拒絕吐谷渾的歸附不予接納。鎮州節度使安重榮擔心契丹的強大，圖謀襲擊契丹，往來於真定一帶契丹的軍隊，都被他暗地裡消滅，秘密與吐谷渾深厚交往，到這時，安重榮接納了白承福，並且使他朝見了高祖。接著，安重榮上表請求討伐契丹，並且說這是吐谷渾的請求。這時，安重榮手握強兵，佔據重鎮，仗恃他的勇猛，逞專橫跋扈之勢。高祖看表後，猶豫不決。桑維翰知道安重榮已心懷奸計，又擔心朝廷違逆了他的意志，於是秘密地上疏進言。疏奏送到，高祖不予公佈，召喚使者入內，對桑維翰傳達秘旨：「我近來北面稱臣侍奉契丹，心中憤懣不快，現在細讀了你的奏章，心中憤懣解開就像睡醒了一樣，我的計謀已經決定，你不必擔心了。」
七年(942)夏天，高祖駕臨鄴都，桑維翰從兗州前來朝拜，改任晉昌軍節度使。少帝石重貴即位，徵召拜為侍中，監理編修國史，不斷上書請求與契丹和談通好，被上將軍景延廣所否定。第二年，楊光遠與契丹結怨，在澶淵發生戰爭，凡進攻敵軍，下達命令，都出自景延廣。桑維翰與各位宰相沒有參與的機會。等到契丹敗退，桑維翰派受少帝寵幸的親信秘密地推薦自己說「：皇上要想制服北方戎狄安定國家，非桑維翰不可。」少帝於是命景延廣出守洛陽，讓桑維翰擔任中書令，又任樞密使、弘文館大學士，接著，封為魏國公。事情無論大小，全部委託給他，幾月之間，百事漸趨治理。然而權力地位顯赫以後，各地賄賂饋贈的東西，都彙集到他的門下，所以，連著一兩年之內，聚積的財貨無數，因此，那些輕薄啊躁的人得以藉機興起誹謗。不多久，內客省使李彥韜、端明殿學士馮玉都因為任用親朋故舊，與桑維翰不相協和，離間之言逐漸進入皇帝耳中，桑維翰漸漸被疏遠猜忌，將要被罷免斥退，全靠宰相劉日句，李崧上奏「：桑維翰立過大功，並且沒有大的過錯，不應該輕易貶退。」少帝才作罷。不久，任用馮玉為樞密使，以此削弱桑維翰的權力。
後來因少帝稍有不適，桑維翰曾經暗地裡派遣宮廷使者向太后表達心意，請求為皇弟石重睿選擇老師來教育輔導他。少帝因此懷疑桑維翰懷有異心。不久以後，馮玉做了宰相，與桑維翰都在中書省，正好碰上舍人盧價任職期滿，馮玉就提筆委任盧價為工部侍郎，桑維翰說：「文官出任這種官職要稍稍慢些，恐怕外界有所議論。」因此不予簽名。接著桑維翰休假，馮玉終歸任命了盧價，自此桑維翰與馮玉更加不相協調。不久少帝把石重睿選擇老師的事告訴了馮玉，馮玉於是用言語刺激少帝。少帝不多久就派桑維翰出任開封府尹，桑維翰稱腳有病，很少參朝晉見，不與賓客往來。
這一年，秋雨下了一月不停止。一天，桑維翰走出府宅大門，由西街進入內城，到了國子門，乘馬忽然驚恐奔跑，駕車的人不能控制，桑維翰掉進水中，過了好長時間才甦醒過來。有人說他的私人官邸也多有鬼怪，親近他的人都為此憂心忡忡。到契丹國主打到中渡橋，桑維翰因國家危在旦夕，才到執政處提出他的異議，又求謁見少帝，得不到准允。桑維翰回家，對他親近的人說：「如果以國家的命運而論，天命是否改變，不是我們所能知曉的，如果以人事而論，晉朝將不會再存在了。」
開運三年(946)十二月十日，後晉的軍隊已經投降契丹，十六日，張彥澤率領前鋒騎兵攻陷了都城，契丹國主派使者送信給太后說：「可以先讓桑維翰、景延廣遠道來迎接，這是很好的事。」這天凌晨，都城下的軍隊發生騷亂，宮殿裡大火突發。桑維翰當時正在府宅，左右侍臣勸他逃跑躲避，桑維翰說：「我是國家大臣，逃到什麼地方去呢？」便坐在那裡等候命令。當時，少帝已經接受了契丹國主安撫慰藉的詔命，正考慮保全自己之計，因而想到桑維翰擔任相國時，多次進獻計謀策劃，請求與契丹通好，擔心如果契丹國主到達京都後追究這事，則要顯露自己的過錯，所以打算殺掉桑維翰滅掉口供。因此叫人去幹這件事。張彥澤接受少帝的密旨之後，又貪圖桑維翰的家財，於是聲稱少帝下令召見桑維翰。桑維翰繫上腰帶乘馬前去，走到天街，與李崧相遇，兩人交談之際，有個軍官在馬前指請桑維翰去侍衛司，桑維翰知道不可違抗，回頭對李崧說：「侍中主持國政，今天國家滅亡了，反讓我為此去死，這是為什麼？」李崧很感愧疚。這一天，張彥澤派兵看守他，十八日夜晚，被張彥澤殺害，當時年僅四十九歲。張彥澤用衣帶繫在桑維翰脖子上，報告給契丹國主說桑維翰上吊自殺了。契丹國主答覆說：「我本無心害桑維翰，桑維翰不該自殺。」契丹國主到了京城，派人驗證他的屍體，下令把他的靈柩安放在私宅裡，優厚地撫養他的家屬，所有田園宅府，一起賞賜給他的家人。到後漢高祖登基，下令追贈為尚書令。
桑維翰年輕時居住的地方，常有鬼怪出現，家裡人都懼怕。桑維翰常常被鬼怪偷竊了衣服，取走洗沐用具，他卻不曾改變面容。在兩朝執掌國政，把上將楊光遠、景延廣全部貶出鎮守洛川。還曾經一次奏議任命節度使十五人，各任軍職，沒有誰不屈服他的。治理安陽時廢除民間陋習二十多件，在兗州、海州一舉擒獲一千多豪強賊寇，亦稱得上是寇恂、尹翁歸一類的人物了。
開運年間，朝廷任命他的長子桑坦為屯田員外郎，次子桑塤為秘書郎。桑維翰對同僚說「：漢代三公的兒子封郎的體制廢除已經很長時間了，近來偶或又實行這種體制，很易引起外面的議論。」於是上表抗命，堅決推辭不受，不久，改任桑坦為大理司直，桑塤為秘書省正字，輿論認為這件事辦得好。
當初，高祖在位的時候，下令廢除翰林學士院，因此把內外制合併歸入閣下，讓舍人掌管內廷，幾年之間，特別重視舍人的選拔，到桑維翰再處相位時，一兩天間，上奏再設置學士院，大凡任命的官職，都是他的親朋故友，當時輿論認為桑維翰為相的業績一向高尚，是眾望所歸，雖然任官有些偏頗，也就不怪罪他了。