虞寄字次安，年少時聰慧敏捷。他幾歲時，有一客人登門拜訪其父，在門口遇見虞寄，便譏嘲他說：「郎君姓虞，必當無智。」虞寄隨聲答道：「你連文字都分辨不清，豈能不愚呢？」其客非常慚愧。入見對其父說：「令郎乃是非凡之人，孔融小時候酬對李文通之語也不及他。」
等到長大，虞寄好學，擅長於寫文章。他性情謙和恬靜，有避世隱居之志。弱冠之年薦舉為秀才，策試金榜題名。初任梁宣城王國左常侍。大同年間，曾下驟雨，宮殿前常常出現多色寶珠，梁武帝看後很是高興，虞寄便上奏《瑞雨頌》。武帝對虞寄兄虞荔說：「此頌文采典雅清麗，實為卿家之士龍。打算如何擢用？」虞寄聽說，歎息道：「讚美盛世之德，以表達安居樂業的情懷。吾豈是沽名釣譽以求入仕之人呢？」便閉門稱病，只以讀書自樂。岳陽王任會稽太守，招引虞寄為行參軍，遷任記室參軍，領郡五官掾。後又調任中記室，掾職不變。虞寄在任期間刪去煩苛以從簡略，力求從大局著眼，終日安安靜靜。
侯景之亂，虞寄隨兄虞荔住進台城，授官鎮南湘東王諮議參軍，加任貞威將軍。京城陷落後，他逃回鄉里。張彪前往臨川時，強迫虞寄隨他同行，虞寄同張彪的將領鄭瑋同乘一舟，鄭瑋違背張彪旨意，劫持虞寄逃奔晉安。當時陳寶應據守閩中，得到虞寄特別高興。高祖平定侯景之亂後，虞寄規勸陳寶應自首，寶應答應了，便遣使稟告歸附之誠心。承聖元年(552)授任和戎將軍、中書侍郎。寶應惜愛其才，假托道路不通不遣。寶應總想招引虞寄，任命為手下官吏，把文翰一類的事委託他，虞寄堅決推辭，因而獲免。
陳寶應與留異結親之後，秘密謀反，虞寄暗知其意圖，每次交談時，虞寄總是陳述逆順之理，暗加勸諫，寶應就說其他事來拒絕他。虞寄又曾令左右誦讀《漢書》給寶應聽，他躺著聆聽，讀到蒯通勸說韓信說「我看你背相，貴不可言」。寶應急忙坐起說：「可謂智士。」虞寄嚴肅地說：「讓酈寄背反，讓韓信驕狂，不足以稱智士；那裡比得上班彪作《王命》，知天命之所歸呢？」
虞寄知道寶應不會聽從勸諫，考慮到禍已及身，便制居士服來拒絕他。常住東山寺，假稱腳疾，不行走，寶應認為他是借口，讓人燒虞寄的臥室，他安臥不動。身邊的人想扶他出去，虞寄說：「吾命無所依傍，想要避難何處可逃？」縱火之人，旋即自己救火。寶應從此信以為真。
留異起兵後，寶應以屬下人馬相資助，虞寄便寫信極力勸諫說：
東山虞寄致信於明將軍使君節下：我身逢亂世，寄居他鄉，將軍以上賓之禮待我，把我看作國中才能出眾的人加以寵信，恩情感人之深，永記在心。而寄現病至彌留之際，氣數將盡，總擔心死後填塞溝壑，沒有半點回報，所以斗膽披露心跡，冒味表達自己的赤誠之心，希望將軍花一點點時間考慮，稍稍陳書明察我說的，那麼瞑目之日，我別無掛戀。
國家安危之兆征，禍福之關鍵，並不只是天命，也靠人謀事。失之毫釐，差以千里。所以明智之士，居高位而不謀反，執大節而不失偏頗。豈能被浮誇之辭迷惑呢？將軍文武兼備，英才威武舉世無雙，過去身逢亂世，舉兵起事興師征討，威振千里，怎麼不因國家面臨危機，與國君協同謀略，匡正時弊酬報君主，讓國家安寧，讓百姓得到恩惠呢？這就是五尺少年，都願充軍隨將軍征戰的原因。高祖武皇帝創業之初，出來救濟艱難之世。那時天下百姓悠悠忽忽，民無定主，兇惡之人橫行霸道，衝殺掠奪，天下之人惶恐不安，不知所從。將軍運用洞察秋毫之鑒識，鼓動縱橫捭闔之舌鋒，追隨高祖為官，結成同盟，此乃將軍宏圖大略，心中感動而誠心歸服。主上承繼帝業後，欽明睿聖，選用賢士能人，群臣謙恭和睦，委任將軍以連城衛國的重位。崇奉將軍以裂土封邑，難道只是朝廷的宏圖偉略，對他人赤誠之心相待嗎？屢次頒發明詔，情真意切，君臣之名分已定，如骨之於肉那樣恩深義重。不料將軍被奸邪之說迷惑，突出非分之想，寄所以痛心疾首，淚盡而繼之以血，萬全之策，竊為將軍痛惜。寄雖年老多病，所言不值得納用，但千慮一得，請求讓我陳述意見。望將軍稍稍收斂聲威，浪費一點時間，讓我盡妄言之說，披露誠摯之心，那麼雖死之日，猶生之年。
自從上天厭倦梁德，災難接踵而至，天下分崩離析，英雄豪傑蜂起，不可勝數，人人自以為能得天下。然而平定凶亂，拯救危難，天下擁戴，神靈眷顧，受禪讓而得居帝位者，陳氏也。豈只是歷數有在，惟天所賜，順應大運立為天子？其事很明瞭了，此其一。主上承繼帝業，以明德治天下，法律之天網再張，國家安定，以王琳之強，侯王真之力，進攻足以撼動中原，取勝天下，退守足以屈尊江南，熾盛江南一隅。然而王琳依賴自己有軍，侯王真信賴一士之言，王琳則分崩離析，投身異域，侯王真則稽首請罪，效命朝廷。這又是借天之威，而除去其患。其事很明瞭了，此其二。今將軍為皇戚中鎮守一方的重臣，擁有東南之眾，若能盡忠奉上，戮力勤王，豈不功比竇融高，寵遇勝過吳芮，授爵封地，南面獨尊？其事很明瞭了，此其三。況且聖朝不計前嫌，寬厚待人，只要改過自新，都加以擢用。至於余孝頃、潘純..、李孝欽、歐陽危頁等人，全都視為親信，委以重任，胸襟豁達，未曾有介心。何況將軍肇亂非比張繡，獲罪有異畢諶，又何必擔心危亡，又哪裡會失去富貴呢？其事甚明，此其四。方今與鄰邦周、齊和睦相處，境外無憂患，合兵一致，已非一朝一夕，已不是劉邦、項羽相爭之時，楚、趙合縱之勢，怎麼能從容自在，高坐朝堂而論文王之事呢？其事很明白了，此其五。況且留將軍畏畏縮縮蜇據一隅之地，一經受挫敗北，名利俱喪，膽量和勇氣衰退沮喪。高王襄、向文政、留瑜、黃子玉這些人，將軍瞭解，他們都首鼠兩端，惟利是圖；其他將帥，也可想而知了。誰能披堅執銳，長驅直入，堅守陣地，奮不顧身，身先士卒呢？此事很明瞭了，此其六。況且將軍兵力之強，哪比得上侯景？將軍兵眾之多，哪比得上王琳？武皇滅侯景於前，今主上摧毀王琳在其後，這是天意，並不只是人的力量。且戰亂以後，老百姓都厭惡亂世，哪個願意去死，離開妻兒，出生入死，隨將軍戰於刀光劍影的沙場呢？此事很明瞭了，此其七。縱觀前古，以往事為借鑒，子陽、季孟，相繼傾覆，餘善、右渠，先後滅亡，天命可畏，山川之險難以倚仗。況且將軍想以數郡之地，抵擋天下之兵，以諸侯之位，抗拒天子之命，弱強逆順，怎麼能相提並論呢？此事很明瞭了，此其八。且不是我族我類者，其心必異。不愛護自己的親人，豈能愛他人呢？留將軍身居國爵，其子娶王姬為婦，尚且背棄血親而不顧，背叛明君而孤立，危急之時，怎麼能同憂共患，不背棄將軍呢？至於兵師老弱力量處於劣勢，害怕被殺貪圖賞賜，必然有韓氏、智氏在晉陽反目，張耳、陳余在井陘相爭之勢，此事又很明瞭了，此其九。且北軍萬里遠征，銳不可擋，將軍在本地作戰，人多有顧忌。梁安得人心之背，修日午以匹夫之力，眾寡懸殊太大，將帥不齊心，師出而無名，沒有測準時機而起事，像這樣起兵，毫無益處。漢朝吳、楚，晉室..、..，都連城數十，擁有百萬大兵，背叛朝廷，企圖自行立國，他們成功了嗎？此事很明瞭了，此其十。
我為將軍打算，不如趕快歸服，與留氏斷絕親戚關係，子秦郎、快郎，隨即遣送作人質，偃甲息兵，一概遵從詔命。況且朝廷賜給將軍享受鐵券的特權，立過宰馬歃血的盟誓，皇上用社稷立誓，是不會食言的。寄聽說英明者防微杜漸，明智者不再圖謀不軌，這是成功的經驗，將軍不要有疑慮。吉凶之差，間不容髮。方今皇族藩籬尚少，皇子年幼，凡為王室同宗，皆蒙恩受寵。何況以將軍之地，將軍之才，將軍之名，將軍之勢有能力治理好邊遠之地，北面稱臣，寧願與劉澤以同年之輩而稱道其功業？豈不是身體如山河一樣安穩，名聲如金石一般遠揚？願將軍三思而行，慎重考慮。
寄氣力虛弱，剩下的光陰不多了，感恩戴德不自覺地狂言亂語，即使受鐵鉞之戮刑，如食甘薺。
寶應看信大怒。有人勸寶應說：「虞公病情愈來愈重，說話多謬誤。」寶應的懷疑之心才稍稍緩解。也因虞寄民望甚高，便寬容了他。等到寶應敗逃，夜至蒲田，對其子干秦說：「早從虞公計，不至於像今日。」干秦只哭不語。寶應被擒拿後，凡與他有交往的賓客，一概誅殺，惟虞寄因有先見之明而免遭殺身之禍。
當初，僧徒慧票博覽群書才思敏捷，寶應起兵後，他作五言詩贈送寶應，曰：「我送你的戰馬，終於到了水濱，遠征之戰旗順風飄動，好好看看今夜的月，它必當升上那高高的紫微宮。」寶應得詩甚喜，慧票送給虞寄，虞寄一看便止，表情嚴肅默默無語。慧票退下，虞寄便對左右說：「票公既以此始，必以此終。」後終被殺。
文帝不久敕令都督章昭達按理發落放遂，令虞寄回朝，章昭達到後，即日引見，對虞寄說：「管寧平安無事。」其慰勞的心情如此。不久，文帝對到仲舉說：「衡陽王已出京做藩王，雖然還沒置設府僚，但必須得一人早晚相隨，兼掌書記，應找老成之士中品行功業兼備者。」仲舉還不知如何應答，文帝說：「吾已得此人。」接著親自下詔起用虞寄。寄入宮致謝，文帝說：「之所以暫時委屈卿仕於衡陽王府，不只是以文翰之類的事相托，而是讓你做他的老師。」不久兼散騎常侍，出使北齊，虞寄以年老多病推辭不行，授任國子博士。不久，虞寄又上表請求解職歸鄉，文帝寬旨答覆，允許他東歸。接著授任東揚州別駕，寄又稱疾推辭。高宗即位，召任揚州治中及尚書左丞，一概不就任。於是授官東中郎建安王諮議，加任戎昭將軍，又稱疾推辭，不願早晚相陪伴。建安王王於是特令他停止王府公事，如有疑議，才請他決斷，他的任務只是朔望朝謁時修書致意而已。太建八年(576)，加任太中大夫，將軍職務不變。十一年去世，時年七十歲。
虞寄年少時行為淳厚，舉止仁慈厚道，即使家中童僕也未曾聲色俱厲，至於臨危執節，則義正言辭正氣凜然，刀山火海都毫無畏懼。虞寄自從流落南隅，與其兄虞荔隔絕，便因傷感犯病，每收到兄信，病氣便在體內奔竄，多次危險。他前後任官，都未曾服官任滿，才一年數月，便自己要求解職。他常說：「知足者不受辱，吾知足矣。」他因病引退住進私宅後，每次諸王任州將，到任時必登門拜訪致以敬意，命家人放下鞭板，以幾杖陪坐。他常到附近寺廟，鄉里人相互傳告，便攜老帶幼成群結隊，站在道之東邊叩拜，有時立誓定約，只要說像虞寄那樣便認為不欺，其超常德行感人至深如此。他所寫的文稿，因遭亂多沒保存。