虞世基字茂世，會稽余姚人。
父親虞荔，陳國的太子中庶子。
世基小時即很沉靜，喜怒不形於色，博學有高才，兼善草書、隸書。
陳國的中書令孔奐見了，感歎說：「南方人才之所以優秀，就因為有了這個人啊！」少傅徐陵聽到他的大名，召他去，世基不去。
後來因公聚會，徐陵一看見他，就驚奇不已，對大臣們說：「這是當今的潘岳、陸機呀！」因此把弟弟的女兒嫁給了他。
世基仕陳國，開始任建安王的法曹參軍事，歷任祠部殿中二曹郎、太子中舍人。
升任中庶子、散騎常侍、尚書左丞。
陳後主曾在莫府山打獵，讓世基作《講武賦》，世基就在座中獻上此賦，陳後主很讚賞他，賜馬一匹。
陳國滅亡之後，世基歸順隋國，任通直郎，在內史省值班。
他家貧無產業，每每為人抄書，以養父母家人，心裡怏怏不平。
曾作五言詩以表達感情，情理淒切，世人認為作得很好，詩人們沒有不吟詠的。
不久，授為內史舍人。
煬帝即位後，對他更加禮遇。
秘書監河東人柳顧言博學有才，很少推重他人，到這時與世基相見，感歎說：「天下當會共同推許此人，他不是我們這些人所能趕得上的。」世基不久遷任內史侍郎，因遭母喪而離職，悲哀過度，只存一副骨頭架子。
有詔書令他復職管事。
拜見皇上那一天，他差點站不起來，皇上讓左右扶他起來，同情他那骨瘦如柴的樣子，讓他吃肉。
世基一吃肉，就悲哽不已，不能下嚥。
皇上讓人對他說：「正委任你作官，你要為國家珍惜自己的身體。」前後幾次勸他。
皇上重視他的才幹，對他很親近很禮遇，讓他專管機密，與納言蘇威、左翊衛大將軍宇文述、黃門侍郎裴矩、御史大夫裴蘊等掌管朝政。
那時天下多事，四方的表奏每天都有數以百計的。
煬帝那時正顯示老成持重，不在朝廷上斷事，而是在入閣之後，才召世基去，口授旨意。
世基回到省裡後，才起草詔書，每天都要寫上百張紙，沒什麼遺漏錯誤。
他就是這樣精確嚴密。
遼東戰爭後，世基升任金紫光祿大夫。
後隨煬帝到雁門，煬帝被突厥人包圍，戰士們多遭失敗。
世基勸煬帝多用重賞，親自安撫將士，又下詔書暫停討伐遼東的戰事。
煬帝聽了他的建議，軍心這才重新振作起來。
雁門之圍被解後，賞賜沒兌現，又下了討伐遼東的詔書，因此世人說煬帝騙人，朝野離心離德。
煬帝巡幸江都，途中住在鞏縣。
世基因盜賊一天比一天厲害，請皇上發兵屯駐在洛口倉，以防不測。
煬帝不聽，只回答說：「你是書生，一定還很害怕。」那時天下大亂，世基知道煬帝無法勸阻，又因高赹、張衡等人相繼被殺，怕自己遭禍，所以雖任近臣，也只是唯唯諾諾，不敢忤逆煬帝的心意。
盜賊一天比一天厲害，郡縣多被攻陷。
世基知道煬帝厭惡多次聽到這類消息，於是少交表狀，不告訴實情。
因此後來外面有巨變，煬帝也不知道。
曾派太僕楊義臣到河北圍剿反賊，投降的反賊有幾十萬。
義臣列表上報。
煬帝歎息說：「我先前沒聽說反賊一下子這麼多，義臣俘虜賊人怎麼這麼多呀！」世基回答說：「鼠輩雖多，不足為憂。
義臣打敗他們後，自己擁兵不少。
他久在外頭，這是最不該的。」煬帝說：「你說得對。」立即派人追回楊義臣，把他的士兵都遣散。
另外，越王楊侗派太常丞元善達從反賊地區偷偷到江都報告事情，說李密有上百萬人，圍逼京都。
反賊佔據了洛口倉，京城中沒有糧食。
如陛下速回，烏合之眾必散；不然的話，東都肯定完了。
元善達報告完畢，哭泣流淚，煬帝也為之改容。
世基見煬帝面有愁容，進言道：「越王年紀小，這些人騙他。
如像他說的那樣，善達怎能到這兒來？」煬帝於是勃然大怒，說：「元善達你這個小人，怎敢在朝廷上侮辱我！」因此派他再經賊人之地，向東陽去催運糧食，善達於是被群盜所殺。
此後外人杜口，沒有誰再敢報告賊人的事。
世基的樣子很沉著持重，說話大多符合煬帝的心意，因此特別被煬帝親愛，朝中大臣無人與他可比。
他的後妻孫氏，生性驕婬，世基被她迷惑，任其奢侈。
他家雕器飾服，再無寒士之風。
孫氏又把前夫的兒子夏侯儼帶到世基家。
這孩子頑皮無賴，為她聚斂不義之財，賣官買獄，公開行賄，他家門庭如市，金銀財寶堆積如山。
世基的弟弟世南，一介寒士，窮得無法生存，世基對他無所幫助，因此被人譏諷，朝野之士，全都怨恨他。
宇文化及殺煬帝時，虞世基也被殺。