虞願字士恭，會稽余姚人。祖父虞賚，作過給事中，被封為監利侯。父親虞望之早死。虞賚院子裡有棵桔樹冬天成熟，家裡的孩子們都爭著來摘，虞願才不過是幾歲的孩子，卻獨獨不去摘取，虞賚和家裡人都覺得他很怪。
宋元嘉年間，虞願作湘東王國常侍。等明帝即位，因為虞願是出身儒生的官吏，有學識修養，又是自己以前藩國的舊屬，待他很是優厚。委任他為太常丞、尚書祠部郎、通直散騎侍郎。明帝生性猜忌，肥胖怕風，夏天常穿著小皮衣。封左右二人為司風令史，哪面來了風，要先告訴他。星像有災變，不相信太史，也不聽朝官的意見，下令讓靈台兩名知星官聽虞願調遣。虞願常在宮內值班，有什麼異常徵兆先啟奏明帝，以作參考。
明帝在舊宅基上蓋湘宮寺，極為奢華，花費很大。因為孝武帝建莊嚴剎有七層，明帝便打算建十層，但太高蓋不成，就分成兩座，各五層。新安太守巢尚之免職後回京見明帝，明帝問他：「你去過湘宮寺沒有？我建成此寺是大功德。」虞願在一旁說：「陛下建這座寺，用的都是百姓賣兒典妻的錢，佛如有靈，一定會傷心痛哭。罪孽比寶塔還高，哪兒有什麼功德！」尚書令袁粲在座，嚇得臉都變了色。明帝大怒，叫人把他拉出殿去，虞願臉不變色從容離去。因為他和明帝有舊時情分，不幾天又被召回宮內。
明帝好下圍棋，但很笨拙，棋藝不佳。被輿論評為第三品。他和第一品王抗下棋，自認為是同一品級。王抗讓他，慌稱：「皇帝下的飛棋，臣無法隔斷。」明帝始終不覺察，以為真是如此，便對下棋更為迷戀。虞願又對他說：「堯用這教他的不肖之子丹朱，所以這不是人主所應喜愛的東西。」雖然數次忤逆明帝的心意，但受到的賞賜還是高於別人。後來陞遷兼任中書郎。
明帝臥病時，虞願常在身邊服侍端藥。明帝尤其喜歡吃一種叫逐夷的魚乾，用銀缽盛蜂蜜醃製，一次就能吃好幾缽。他問揚州刺史王景文：「這東西好吃得很，你有沒有過過癮？」景文回答：「臣歷來愛吃這東西，只是貧窮很難得到。」明帝聽了很高興。吃逐夷積累得多了，胸腹結塊鼓脹，眼看要斷氣。左右啟奏可飲幾升醋酒，悶脹才消下去。病已很重了，一頓還要吃三升肉羹。肚裡油水積累太多，吃藥也不見效了。病危那天，正坐著招呼和尚，一合掌便嚥了氣。
虞願因為長期在明帝患病時服侍他，被轉為正員郎。出京作晉平太守。在任上不置產業。前任官員和百姓發生衝突，扣壓人家的妻兒，虞願派人到半路上劫奪回來。在郡內開設學校。晉平郡以前產髯蛇，膽可以作藥。有人送給虞願一條，虞願不忍殺它，把它放還到二十里外的山中。一天夜裡蛇回到他床底下，又送到四十里外的山裡，過了一夜又回來了。人們都說這是他的仁愛之心的結果。海邊有一塊越王石，經常隱沒在雲霧裡，相傳「清廉的太守才能看得見」。虞願前去觀看，結果清徹不見遮擋。後來琅笽王秀之來作郡太守，給朝中的官員寫信說：「此郡在虞公之後，善政猶存，留下的良好風尚被習慣遵從，因此還算是太平無事。」
因為母親年老而辭去職務，被委任為後軍將軍。褚彥回曾去拜訪虞願，虞願不在家，只見他床上落滿了塵土，有書數函。彥回歎息道：「虞君竟清貧到如此地步。」讓人幫他掃地掃床後離去。
改任中書郎，負責東觀祭酒。他哥哥虞季為上虞縣令，死在任上，虞願聽說後從中書省徒步趕回家中，不等皇帝詔令批准便東歸故鄉。後任驍騎將軍，又改任廷尉，祭酒職務不變。
虞願曾侍奉宋明帝。齊初，宋朝神主遷到汝陰廟，虞願流淚拜別。建元元年(479)去世。虞願著有《五經論問》，又撰《會稽記》，有文章數十篇。