山偉，字仲才，河南洛陽人，其祖先為代人。祖山強，容貌美好，身長八尺五寸，工於騎射，彎弓力量可達五石。任奏事中散，跟從顯祖打獵方山，有兩隻狐狸從御座前驚起，帝令山強射之，百步內兩隻狐狸都被射倒。官做到內行長。父山稚之，為營陵令。山偉隨父到縣，師事縣人王惠，廣讀文史。山稚之官至金明太守。
肅宗初年，元匡任御史中尉，舉山偉兼侍御史。入衙五天，便逢皇帝元旦朝會群臣。山偉司掌神武門，其妻堂叔為羽林隊主，在殿門前打直長，山偉立即彈劾於皇帝。元匡稱讚他，不久官即為正。帖國子助教、遷任員外郎、廷尉評。
當時天下無事，進官十分困難，代郡遷南的人，大多沒有升職。及六鎮、隴西二方叛逆亂起，領軍元叉想啟用代郡南遷的寒士為傳詔使者以慰悅人心，而牧守子孫投狀求此職的多達一百多人。元叉又想杜絕這種現象，因此啟奏立勳附隊，令各依門第出身。從此北人都被收錄。山偉於是奏記，讚頌元叉的美德。元叉從來都不認識山偉，找侍中安豐王元延明、黃門郎元順詢問，元順等因此稱薦他。元叉令僕射元欽引山偉兼任尚書二千石郎，後正名士郎。修撰起居注。僕射元順主持選舉，表薦山偉為諫議大夫。
..朱榮加害朝官，山偉當時在朝廷值班，所以免於禍難。及莊帝入宮，除他為給事黃門侍郎。這以前，山偉與儀曹郎袁升、屯田郎李延孝、外兵郎李奐、三公郎王延業等人並駕而行，山偉稍稍居後。路上碰到一個尼姑，她望他們歎氣說：「這些人哪，將會同日而死。」對山偉說：「君剛近天子，當作好官。」而袁升等四個人，都在河陰遇害，果然應驗了她說的話。不久，領任著作郎。前廢帝登極，除授安東將軍、秘書監，仍為著作。
當初，..朱兆攻入洛陽，官員奔散而去，國史典書高法顯秘密埋起史書，所以書不遺落。山偉把這當作自己的功勞，訴述皇上請求賞爵。山偉附迎..朱世隆，遂封東阿縣伯，而法顯只獲男爵。山偉不久官進侍中。孝靜初年，除授衛大將軍、中書令，監修起居。後以本官又領著作，卒於官。朝廷贈其為驃騎大將軍、開府儀同三司、都督、幽州刺史，謚稱文貞公。
國史從鄧淵、崔琛、崔浩、高允、李彪、崔光以來，眾人相繼撰錄，綦雋以及山偉等諂說上黨王元天穆及..朱世隆，認為國書正應該是代人修撰編輯才對，不宜交付他人，所以綦雋、山偉等人執掌大籍撰修。綦雋、山偉等人得修史書，守舊而已，沒有記述著錄。所以自崔鴻死後，迄止山偉，二十來年，時事蕩然不記，以至萬不記一，後人執筆，無所憑據，史實遺缺，都是因為山偉。他外示沉厚，內心實是矯浮。山偉與綦雋少年時代很是要好，後來因名位問題，便如水火不容。與宇文忠之這些代人結為朋黨，當時有見識的人都畏懼厭惡他。而他愛好文史，老而更愛。山偉弟弟早亡，他撫寡訓孤，與侄兒們同居二十多年，恩義很厚。山偉不營產業，身死之後，賣房營葬，妻子兒女淪至飄泊，士友歎憫他們。長子昂襲承爵位。