呂僧珍字元瑜，東平范人，世代居住在廣陵。出身貧寒、低賤。還是個孩童的時候，跟隨老師學習，有相工歷觀諸生，指著呂僧珍對博士說：「這孩子出語不凡，將來定有封侯之相。」二十多歲時，依倚宋丹陽尹劉秉，劉秉被誅後，侍奉太祖文皇為門下書佐。身高約七尺五寸，形貌很是偉岸。在同齡人中很少有輕慢的舉動，同輩人都敬仰他。
太祖任豫州刺史，任他為典..，帶蒙令，居官稱職。太祖遷領軍，補主簿。妖賊唐蠫進犯東陽，太祖率眾往東討伐，讓呂僧珍知行軍眾局事。呂僧珍家在建陽門東，從接受使命赴任，每天路過建陽門，不經過自家，太祖因此更加瞭解他。任丹陽尹，復任命為郡督郵。齊隨王子隆出任荊州刺史，齊武帝任呂僧珍為子隆的防..，跟隨他鎮守。永明九年(491)，雍州刺史王奐謀反，皇上下詔派遣呂僧珍隸平北將軍曹虎，西為典..，帶新城令。魏軍進犯沔北，司空陳顯達出討，一見很是驚異，就撇開旁人，讓他坐上座，勸他說：「愛卿有富貴之相，精神當不減往日，努力去成就一番事業。」
建武二年(495)，魏大舉南侵，分五路齊頭並進。高祖率師增援義陽，呂僧珍跟隨在軍陣中。長沙宣武王當時任梁州刺史，魏包圍守衛數月，由於不通信息，義陽與雍州失去聯繫。高祖打算派遣使者到襄陽去，求梁州問，大家都害怕，不敢前往。呂僧珍堅決請求充任使者，當天乘單舸上路。到達襄陽後，督遣援軍，並得到宣武王的親筆信返回，高祖很是嘉獎他。事態平靜下來，補羽林監。
東昏即位，司空徐孝嗣掌管朝政，打算和他共事，呂僧珍揣摩並非長久之道，最終沒有前往就職。當時高祖已經統轄了雍州，呂僧珍堅決請求西行回家，得補..令。到達當地後，高祖任命他為中兵參軍，委以重任。呂僧珍暗裡培養敢死之士，歸附他的人很多。高祖廣招武士，士庶響應，跟隨、會聚起來的有一萬多人。就下令巡行城西空地，準備建造幾千間房屋，當作營房，多多砍伐木材和竹子，沉浸到檀溪裡，聚積的茅蓋像山阜一樣，都沒有使用它們。只有呂僧珍領悟到了此舉的要旨，也私自準備了幾百張櫓。義兵起事，高祖深夜召集呂僧珍和張弘策商討對策，決定明天早晨就集合大軍出征，全部撈上沉浸在檀溪裡的木材和竹子，做成舟婁舟監，用茅草修繕它們，立即動手去做。大軍就要出發，諸將果真爭著搶櫓，呂僧珍於是取出先前準備好的櫓，每船交給二張，爭櫓的人們才不爭搶了。
高祖任呂僧珍為輔國將軍、步兵校尉，出入臥內，宣通意旨。兵到郢城，呂僧珍率部屬駐紮在偃月壘，不久又進據騎城。郢州平定，高祖進呂僧珍為前鋒大將軍。大軍駐紮在江寧，高祖讓呂僧珍和王茂率精銳部隊先行登上赤鼻邏。那天，東昏帥李居士與大軍前來作戰，呂僧珍狠狠攻擊，大破敵軍。於是和王茂一起進軍到白板修築堡壘，堡壘做好了，王茂移駐越城，呂僧珍仍然防守白板。李居士通過偵察瞭解到對方兵力少，率精兵一萬人，逕直前來攻城。呂僧珍對將士說：「現今我方力量既然不能匹敵，不能和他們展開戰鬥，也不要遠射，必須呆在塹壕裡，當全力攻破他們！」不久都越過塹壕，拔掉柵欄，呂僧珍分派士兵上城，箭和石頭一齊發射，自己率馬步三百人斬斷敵後，守隅的士兵也越城而下，內外夾擊，李居士立即奔逃四散，繳獲的武器、胄甲不計其數。呂僧珍又進據越城。東昏大將王珍國列車為營，背淮佈陣。王茂等大軍發動攻擊，呂僧珍放縱燃火的車焚燒敵人的營地。敵人當天土崩瓦解。
建康城平定下來，高祖令呂僧珍率部先行進城清宮，和張弘策一道封檢府庫，當天以本官帶南彭城太守，調任給事黃門侍郎，領虎賁中郎將。高祖即位，任他為冠軍將軍、前軍司馬，封為平固縣侯，食邑一千二百戶。不久調給事中、右衛將軍。不久，轉左衛將軍，加散騎常侍，入直秘書省，統管宿衛。天監四年(505)冬，大舉北伐，從此軍機之事日漸增多，呂僧珍白天在中書省辦公，夜裡返回秘書省。天監五年(506)夏，又任命呂僧珍率領羽林精兵出梁城。這年冬天回軍，以本官領太子中庶子。
呂僧珍離家既久，上奏請求拜墓，高祖意欲使他榮耀，讓他治理本州，於是授使持節、平北將軍、南兗州刺史。呂僧珍在位期間，公平對待屬下，不徇私情。堂兄的兒子起先以販蔥為業，呂僧珍任職後，於是放棄販蔥業，想求他做個州官。呂僧珍說：「我蒙受國家的大恩，沒有什麼可以用來作為報答的，你自然有你的天分，怎麼可以作出此等非分之想，還不趕快回到蔥肆去！」呂僧珍老家在市北，前面建有督郵的官署，鄉人都勸他遷移官署來擴大住宅。呂僧珍發怒道：「督郵是官署，從建造以來就一直在這裡，怎麼可以遷走它，來擴大我的私宅呢？」姐姐嫁給于氏，住在市西，小屋面臨馬路，雜處於諸肆之中，呂僧珍經常帶著鹵簿到她家裡，並不以為恥辱。任期一百天，徵召為領軍將軍，不久加散騎常侍，給鼓吹一部，像先前那樣在秘書省辦公。
呂僧珍功勳卓著，頗受重用，恩遇隆密，沒有能和他相比的。性格很是謙恭、謹慎，在禁中值班，盛夏不敢解開衣扣。每當侍奉御座，屏氣鞠躬，吃水果未曾動過筷子。曾因酒醉，才拿了一隻柑子吃了。高祖笑著對他說：「真是大有進步。」除俸祿外，每月給他十萬錢，其他的賞賜則時時不絕。
天監十年(511)，患重病，御駕親臨，並派人治療，一天之中有數次。呂僧珍對親友故舊說：「我起先在蒙縣，得了熱病，肌膚發黃，當時我想這病一定沒治了，可皇上對我說：『愛卿有富貴之相，一定不會死去，不久就會自行好轉的。』不久果真痊癒。現在已經富貴了，而肌膚發黃，所得的病苞先前一樣，一定沒有治了。」最終真像他說的那樣，死於領軍府捨裡，時年五十八歲。高祖當天親臨赴喪，下詔：「思舊篤終，前王令典；追榮加等，歷代通規。散騎常侍、領軍將軍、平固縣開國侯呂僧珍，胸懷遠大，見識廣博，竭忠盡禮，知無不為。與朕契闊，情兼屯泰。大業初成，功勳卓著。負責禁衛，早晚盡誠。方參任台槐，式隆朝寄；突然去世，心中傷慟。當加優典，以隆寵命。可贈驃騎將軍、開府儀同三司，常侍、鼓吹、侯仍舊。供給東園秘器、朝服一具、衣一襲，喪事所須物品，按需備辦。追諡為『忠敬侯』。」高祖沉痛惋惜他，說著說著就淚流滿面。長子呂峻早死，呂峻的兒子呂淡繼承其業。