崔光，本名孝伯，字長仁，名為高祖所賜，東清河俞人。祖名曠，跟隨慕容德南渡黃河，定居青州時水。慕容氏滅亡之後，出仕劉義隆政權，任樂陵太守。父親靈延，任劉駿的龍驤將軍，長廣太守，與劉..的冀州刺史崔道固一起抵抗國軍。
慕容白曜平定三齊，崔光時年十七，隨父遷往代州。家中雖然貧困，但崔光好學，晝耕夜讀，奉養父母。太和六年(482)，被授予中書博士，轉任著作郎，與秘書丞李彪一起參與國史編寫。後升任中書侍郎，給事黃門侍郎，受到高祖很好的知遇與優待。高祖常說：「孝伯之才，浩浩東流如黃河入海，理所當然是今天的文章宗主。」因參與謀劃遷都之功，高祖賜爵朝陽子，授官散騎常侍，黃門侍郎、著作郎官職仍舊，又兼任太子少傅。不久又以原官兼任侍中、使持節，朝廷派其為陝西大使，巡察地方民政人情，經過之處，遊歷古跡，述詩懷古，作詩三十八篇。歸朝之後，仍兼任侍中，因其籌劃謀略之功，爵位上升為伯。
崔光年少即顯度量之大，喜怒哀樂均不見於表情，有人詆毀侮辱他，崔光必定好言好語作為回報，即使被人誣罵譭謗，他也不自己申辯曲直。皇興初年(467～469)，同郡有兩人同時被掠去當奴婢，後來到崔光那裡求救，崔光用另外二人把他們贖了出來。高祖聽說此事，十分稱讚。崔光在朝，雖身處機近，卻一向不大留心書面文案，只是行止從容，議論述說，替國家大政出謀劃策而已。高祖經常對大臣們說：「憑著崔光的高才大量，如沒有意外的錯誤罪責，二十年後應該身任司空之職。」其受高祖器重，可見一斑。後又跟隨皇帝剿滅陳顯達。世宗即位，升為正侍中。
當初，崔光與李彪一起撰寫國史，太和末年(497～499)，李彪被解除著作郎之職，撰史的任務都交給了崔光一人。李彪不久又因罪廢職。世宗居喪期間，李彪上書請求讓他繼續完成《魏書》，世宗下詔應允，他於是以白衣身份在秘書省繼續著述。崔光雖然身為史官，但認為李彪意在獨領其功，上表請求解除他自己的侍中、著作郎，以此表示對李彪行為的不滿，世宗不同意。後遷太常卿、領齊州大中正。