呂羅漢，本是東平壽張人。其先祖，在石勒時代遷居幽州。祖呂顯，字子明。少年好學，性格廉潔正直，鄉里有人發生糾紛都紛紛到他那裡評理。慕容垂任命他為河間太守。皇始初年，舉郡降魏，魏太祖很高興，賜給他魏昌男的爵位，拜授他為巨鹿太守。清廉奉公，務存賑恤，他的妻子兒女都忍受饑寒。老百姓歌頌他說：「時惟府君，克己清明。集我荒土，民便樂生。願壽無疆，以享長齡。」卒於官任之上。父親呂溫，字..陽。擅長書法，喜好施給，有文武才略。魏世祖討伐赫連昌，任呂溫為禁衛軍將領。呂溫每次作戰都身先士卒，衝鋒陷陣，每戰必捷，因功被朝廷拜授為宣威將軍、奉車都尉。出任秦州司馬，遷任上黨太守，善於勸民課稅，頗有治績。死後，朝廷贈其為平遠將軍、豫州刺史、野王侯，謚稱敬。
呂羅漢仁義篤厚，謹慎細密，少年時代就以武才出名。父親呂溫佐治秦州，呂羅漢隨侍其父。隴右氐人楊難當率領數萬兵馬侵犯上絡，秦地百姓多有響應。鎮將元意頭知道呂羅漢善於射擊，便與他共登西城樓，讓羅漢射楊難當隊將以及兵士二十三人，全都應弦而倒。敵人勢力越來越大，呂羅漢獻計說：「如今如不出戰，那便是在敵人面前示弱，等到我軍眾情崩潰，那就大勢已去了。」意頭覺得他的話很對，便撥出千餘騎兵讓呂羅漢出城迎戰。羅漢與眾騎兵策馬大呼，直衝楊難當陣中，敵人紛紛潰退。羅漢殺楊難當左右隊騎八人，楊難當大驚失色。恰逢魏世祖賜楊難當璽書，責備其跋扈，楊難當於是引兵還歸仇池。意頭把這個情況具表上聞，魏世祖很是讚賞，征拜他為羽林中郎。上絡人休官呂豐、屠各王飛廉等八千多家，據險叛逆，帝詔羅漢率領騎兵一千討伐擒拿敵人。呂羅漢隨皇帝征伐懸瓠，與琅笽王司馬楚之一起御駕前招慰叛眾，降順的九千多戶。等到了盱眙，頻頻破滅敵人，擒捉其將領顧儼、李觀之等。因功遷升羽林中郎、禁軍將領，賜爵烏程子，加授建威將軍。等到南安王元余被立為儲君，呂羅漢仍掌禁衛軍，高宗得立，呂羅漢出了力。遷任少卿，仍為禁衛將軍，晉爵野王侯，加授龍驤將軍。拜授司衛監，遷任散騎常侍、殿中尚書，晉爵山陽公，加授鎮西將軍。等到柔然人侵犯邊塞，顯祖討伐，呂羅漢與左僕射南平公元目振都督中外軍事。
出任鎮西將軍，秦、益二州刺史。當時仇池氐羌反叛，攻逼駱谷，鎮守將領吳保元逃登百頃，在羅漢那裡請求援助。呂羅漢率領騎步兵隨長孫觀掩擊氐羌氏，大破敵軍，斬殺其主帥，敵人敗退散去。帝詔呂羅漢說：「愛卿以勞勤獲敘，才能致用，內總禁旅，外臨方岳，褒獎寵幸之隆，可以說全有了。自己如果不盡節竭誠，將何以垂名竹帛？仇池接近邊境，兵革之事屢屢興起，既很辛勞士兵，又煩擾黎民百姓，這都是由於鎮守將領不明，安撫震懾方法不當所導致。卿你應機赴擊，滅此凶丑。隴右山水險惡，老百姓也十分強悍，如果不導之以恩德，齊之以刑罰，賊眾無法寧息，老百姓無法安寧。朕垂心治道，為的是使遠近清穆，卿你可召集豪貴，選擇事宜，以利於民為先，有益於國為本，隨其當地風俗，以施行威刑恩惠並舉的政策。那裡的安居樂業、奉公勤私的人，你要善加勸導監督，不要剝奪他們的農時物利。明相宣告，以使朕稱心滿意。」
涇州百姓張羌郎煽動隴東，聚眾一千多人，州中軍隊前去討伐卻制服不了。呂羅漢率領騎步兵一千人打擊張羌郎，抓到了他。仇池氐、羌人叛逆之風當時也很猖獗，所到之處如蜂起雲湧，道路被其斷絕。他們的頭領蛩廉、符祈等人都受到劉昱的官爵、鐵券的恩賜。略陽公伏阿奴任都將，與呂羅漢一起前去討伐，所向披靡，生捉廉、祈等人。秦、益二州與京城距離遙遠山川阻隔，南邊連著仇池，西面接著赤水，諸羌人憑著天險，屢屢叛逆。自從呂羅漢為州長官，他以威勢恩惠撫之州民，西部百姓都很馴服，羌地治安大為好轉。魏高祖下詔呂羅漢說：「朕總攝萬機，統治四海，思想著隆盛古時道義，光大顯明教化風氣，所以內委各個部門，外任州郡長官，眼下正是志士建立名節之秋，忠臣立功之際。但赤水羌民，遠居邊境，如不是卿的循循善誘，怎麼能夠招順他們呢？卿所得到的人口馬匹，你上表以求貢奉朝廷，朕稱讚你的忠誠，順便就把這些賜給你吧。其馬交付都牧，人口就賜給你了。」
朝廷征拜他為內都大官，呂羅漢聽訟察獄，多得獄情真相。太和六年(482)，卒於任上。魏高祖深為嗟悼歎惜，賜給命服一套，贈予本官，謚稱莊公。