早期事跡
林仁肇生性剛強堅毅，武藝高強，而且身材魁梧，身上刺有虎形紋身。原是閩國裨將，與陳鐵齊名，人稱林虎子。閩國滅亡後，歸家閒居。
大戰周軍
956年(顯德三年)，南唐中主李璟因後周軍攻打淮南，命鴻臚卿潘承祐到泉州、建州召募勇士。潘承佑推薦了前永安節度使許文稹、靜江指揮使陳德誠以及鄭彥華、林仁肇等人。中主任命林仁肇為將軍，讓他率偏師救援壽州。林仁肇攻城南大寨，又破濠州水柵，被擢升為淮南屯營應援使.
八月，周軍正陽浮橋建成，扼住南唐援軍的進路。林仁肇親自率領一千敢死士，用船載著薪柴牧草，乘風放火，欲焚燬浮橋。不料，風向轉變，不利火攻，周軍大將張永德趁機進戰，唐軍大敗.
這時，林仁肇單馬殿後，並將張永德射來的箭矢全部擋開。張永德大驚道：「敵軍有能人啊，不可輕敵。」便不再追擊。後來，南唐向後周割地求和，林仁肇被任命為鎮海軍節度使，不久又改鎮武昌.
忠言被拒
960年(建隆元年)，後周大將趙匡胤建立宋朝，是為宋太祖，並平定淮南節度使李重進的叛亂。此後，淮南各州兵力薄弱。
970年(開寶三年)，林仁肇私下向南唐後主進言道：「淮南兵力很弱，宋國又連年用兵，先後平定西蜀、荊湖、嶺南，千里奔波，士卒勞累，這正是可乘之機。陛下只要給臣數萬兵馬，臣就能奪取淮南。陛下可以對外宣稱臣起兵反叛，那麼臣若成功，淮南歸國家所有，臣若兵敗，陛下便滅我滿門，以此表示陛下並不知情。」
後主聽後，驚道：「你千萬不要胡說，這會連累到國家的。」不久，林仁肇便被任命為南都(今江西南昌)留守、南昌尹
含冤遇害
林仁肇出身行伍，後雖擔任將帥，仍能與士卒同甘共苦，因此深得軍心。但是，皇甫繼勳、朱令贇等人與林仁肇關係不和，便在唐後主面前進讒言，稱他向宋朝求援，要在江西自立。宋太祖也對林仁肇非常忌憚，便賄賂他的隨從，得到他的畫像，懸掛在別室中。
972年(開寶五年)，鄭王李從善到汴京朝貢。宋太祖帶李從善觀看林仁肇的畫像，道：「林仁肇將前來投降，先用這幅畫像為信物。」又指著空著的館宇道：「這是我準備賜給林仁肇的。」李從善命人回報後主。後主不知這是反間計，便暗中命人將林仁肇鴆殺。