劉日丙，字延明，敦煌人氏。父親劉寶，字子玉，以儒學見長。劉日丙十四歲時，從師博士郭蠫。當時郭蠫的弟子達五百多人，精通經業的也有八十多人。郭蠫有個女兒剛剛成年，郭蠫想從弟子中挑選乘龍快婿，心裡想到了劉日丙。於是在他自己的座位前面另外設下一個座席，對弟子們說：「我有一個姑娘，已經長大成人，想找一位乘龍快婿，誰前來坐這張凳子，我就把女兒嫁給誰。」劉日丙一聽，毫不猶豫地搶上前來，坐在凳子上，神情嚴肅，說：「聽說先生您想找乘龍快婿，我劉日丙就是。」郭蠫於是就把女兒嫁給了他。
劉日丙後來隱居酒泉，不接受州郡邀請他為官的旨命，開門授業，聚集在他門下受業的弟子有五百餘人。李詗另立政權，征拜他為儒林祭酒、從事中郎。李詗喜愛文書典籍，書史當中有脫落文字的，他必定親自補上，劉日丙當時侍奉左右，上前請求代替李詗做這事。李詗說：「我親自來做這種事情，是想讓別人重視此類典籍。我與卿相逢，和孔明與劉備相逢又有什麼區別？」又遷任撫夷護軍，劉日丙雖然每天都有政務在身，但仍是手不釋卷。李詗說：「愛卿你註釋篇籍，常常夜以繼日，以燭繼晝。我說你白天這樣做還可以，晚上就應該休息了。」劉日丙說：「朝聞道，夕死可矣，不知人將老矣，所以孔子才成為聖人，為人稱道。而我劉日丙是什麼人，怎敢停止下來。」劉日丙考慮三史文字太繁多，便撰寫《略記》一百三十篇、共八十四卷，又著《涼書》十卷、《敦煌實錄》二十卷、《方言》三卷、《靖恭堂銘》一卷、又註釋《周易》、《韓子》、《人物誌》、《黃石公三略》，這些書都流傳於世。
蒙遜平定酒泉，拜授他為秘書郎，專門負責注記之類的事情。劉日丙在西苑建起陸沉觀，親自前往禮敬諸聖，自號「玄處先生」，學徒達數百人，每個月都送給他一些羊酒。牧犍尊他為國師，親自拜之以禮，命令所有官員都北面受業於他。當時，同郡的索敞、陰興為他的助教，兩人都以文學見長，每次都以民間學者的身份出入。
魏世祖平定涼州，百姓東遷，朝廷久聞劉日丙大名，拜授他為樂平王從事中郎。魏世祖下詔讓年紀七十歲以上的鄉老留在本鄉，身邊留下一個兒子奉養。劉日丙當時已經太老了，身在姑臧，一年多後，思鄉返歸，到了涼州西面四百里的韭谷窟，染上疾病，死了。劉日丙有六個兒子。