王素字休業，是琅笽臨沂人氏。他高祖王翹之，是晉朝光祿大夫。
王素少年時便志氣不凡。家庭貧困，母親年老。剛開始當廬陵國侍郎，母親去世，他便辭職，守孝期滿，廬陵王劉紹當江州刺史，親人舊友勸修整故居。王素沒有順從，而是丟下家中財物到東陽，隱居不出，做一些田園事務，得以生存。他愛好文章，不因世俗瑣事污染自己的高潔胸懷。世祖即位後，想搜尋一些隱士。為此下詔書說：「處理事務，必須使隱居的人出來做官，移風易俗，必須表揚清正廉潔的人，我日夜尋求善良的人，想改變刻薄的風氣。琅笽人王素，會稽朱百年，都廉潔儉樸，堅貞淡泊，不和世人爭利，在耕耘地中自得其樂，志氣不變，應該加以褒獎推薦，讓謙讓的得到光榮，他們都可以當太子舍人。」大明年中，太宰江夏王劉義恭開設府台，徵召王素賢人，任命王素為倉曹部的官職。太宗泰始六年(470)，王素又被召為太子中舍人，他都沒有出來。王素既然多次被邀請出任，名聲越來越響。東陽山中有一種蟲玄蟲，聲音清晰而又綿長，百聽不厭，但長的形狀很醜。王素於是作《蟲玄賦》比擬自己。七年(471)他逝世了，時年五十四歲。
當時又有宋平人劉睦之、汝南人州韶、吳郡人褚伯玉也隱居自樂。劉睦之居在高州，被任命為比平太守，他不赴任。州韶字伯和，是黃門侍郎州文的孫子，他在湖熟的方山建起居室，被徵用為員外散騎侍郎、征北行參軍，他沒有出來。伯玉隱居剡縣的瀑布山三十多年，揚州府征他為議曹從事，他也未應命。