呂琦，字輝山，幽州安次人。祖父呂壽，擔任過瀛州景城主簿。父親呂兗，曾任滄州節度判官，累官至檢校右庶子。劉守光攻破滄州，呂琦的父親被擒獲，誅滅全族。呂琦當時只有十五歲，被官吏抓住，將就刑戮。有個叫趙玉的人，是幽州、薊州的義士，長久在呂兗門下為遊客。看到呂琦面臨危險，便欺騙監官說：「這孩子是我的同胞兄弟，你們不要搞錯。」監官相信了趙玉，趙玉就帶著呂琦一起離開了。走了三十里路，呂琦苦於步行，告訴趙玉說有足疾，趙玉便背著他前行，走了幾百里，然後更改姓名，沿路乞討食物，才避免了那場災難。呂琦年幼時，因家門遭禍，遠離故土，無所依附，便立志勤奮學習，多在汾、晉兩州遊學。
唐天..年間，莊宗剛開拓霸業，翹首盼望賢士，親筆下令拜呂琦為代州軍事判官，任滿後回到太原，監軍使張承業推重呂琦的器量，以禮相待，十分優厚。天成初年，任命呂琦為殿中侍御史，遷駕部員外郎，兼侍御史知雜事。時逢河陽主管倉庫的官吏偷竊官倉財物的事情敗露，朝廷下詔讓軍巡院審訊這件事。當時軍巡使尹訓依仗權勢收納賄賂，顛倒是非，不久，有人到京城申訴冤屈，朝廷便下令讓呂琦審按這件事，驗證了尹訓的奸惡之後，便上奏請求治尹訓的罪，奏請受阻而不能實施。呂琦接連上奏不止，尹訓知道自己不能免禍，在家中自殺，這個案子才大白於天下，蒙恩活下來的人很多，從此朝廷稱讚呂琦的公允正直。
晉高祖在太原建立義旗，唐末帝臨幸懷州，趙德鈞駐軍在團柏谷，末帝因呂琦曾經在趙德鈞的幕下幹過事，便令呂琦帶著都統使官告慰賞賜他，並且犒勞他的軍隊。到在北方邊境巡視軍隊時，呂琦住在忻州，碰上晉高祖攻下了晉安寨，高祖派使臣通告近鄰州郡，呂琦正好碰上了高祖的使臣，就斬殺了他告訴朝廷唐末帝，不久又率領郡兵一千多人抄小路回到朝廷。晉高祖進入洛陽，也不責怪他，只是改任他為秘書監罷了。天福年間，參與編修《唐書》，臨時掌管選部，都有能稱道的事跡，歷遷任禮部、刑部、戶部、兵部侍郎，官品達到金紫光祿大夫，爵位達到開國子。
呂琦俊美豐儀，氣宇軒昂，雖以剛直聞名當時，而內心則仁厚寬容。當初，高祖尋求輔佐相國，宰相李崧就極力向高祖薦舉呂琦，說他可以委以重任。高祖多次在便殿召見呂琦，談到當前世事，對呂琦深感奇異，正準備倚重他為宰相，忽然間染上疾病去世，人們都很惋惜。