張全義，字國維，濮州臨濮人。原名叫居言，賜名叫全義，梁太祖改為宗..，莊宗平定河南，回復張全義名。祖父張璉，父親張誠，世代為種田人。張全義做縣嗇夫時，曾受縣令侮辱。
乾符末年，黃巢在冤句起義，張全義逃亡進了黃巢軍。黃巢入長安，任張全義為吏部尚書，充水運使。黃巢失敗，在河陽依附諸葛爽，逐漸升至裨校，多次立戰功，諸葛爽上書朝廷任為澤州刺史。
光啟初年，諸葛爽去世，其子諸葛仲方為留後。部將劉經和李罕之爭奪洛陽，李罕之在聖善寺打敗劉經，乘勝想進攻河陽，在洛口紮營。劉經派張全義抵抗，張全義便和李罕之同盟結義，反過來在河陽攻擊劉經，被劉經打敗，集合剩下眾兵，與李罕之據守懷州，向武皇求援兵。武皇派澤州刺史安金俊相助，進攻河陽，劉經、諸葛仲方棄城投奔汴州，李罕之於是自己掌管河陽，上表推薦張全義為河南尹。
張全義生性勤儉，善於安撫軍民，雖然到處都有賊寇，仍勸大家耕種務農，因此倉庫充實。李罕之貪暴不守法，軍中缺糧，每次都向張全義索取。兩人開始時相交很好，到這時李罕之貪得無厭，動不動加以凌辱欺壓，張全義十分苦惱。文德元年四月，李罕之出兵侵犯晉州、絳州，張全義乘其不備，暗地帶兵襲取河陽，張全義於是兼領河陽節度。李罕之向武皇求援，武皇又派兵幫助攻打河陽，遇汴州軍救兵趕到而退。梁太祖用丁會守河陽，張全義復任河南尹、檢校司空。張全義感謝梁太祖援助之恩，從此依附梁朝，全都受他制約。
起初，蔡州賊人孫儒、諸葛爽爭奪洛陽，互相攻伐，七八年之內，都城化為灰燼，滿目都是荊榛。張全義剛到任，只得和部下聚居在以前市區內，街市間窮苦百姓不滿一百家。張全義善於安撫收納人民，督促部下砍去雜草播種莊稼，一邊耕地一邊作戰，用糧食換牛，每年擴大墾地，招收流亡散失人民，待之如子女。每當立春勸耕之日，張全義必親自站在田邊，送給酒食，政事寬大簡易，官吏不敢欺瞞。數年之間，京郊附近沒有閒田，編入戶籍的有五六萬，於是在過去的街市築營壘，建置府署，防止外寇。
梁太祖逼迫唐昭宗東遷，命張全義修繕洛陽宮城，多年後才完成。唐昭宗到洛陽，梁太祖圖謀取代他，擔心張全義有異心，便任判官韋震為河南尹，調張全義任天平軍節度使、守中書令、東平王。這年八月，昭宗被殺，輝王即皇帝位。十月，復以張全義為河南尹，兼忠武軍節度使，判六軍諸衛事。梁太祖建立年號，以張全義兼河陽節度使，封魏王。開平二年，冊拜太保，兼陝虢節度使、河陽尹。四年，冊拜太傅、河南尹、判六軍，兼鄭、滑等州節度使。乾化元年，冊拜太師。二年，朱友王圭篡位叛逆，任張全義為守太尉、河南尹、宋亳節度使兼國計使。梁末帝在汴州即位，任張全義為洛京留守，兼鎮河陽。不久，授天下兵馬副元帥。
梁末帝后期，張漢傑、趙廷隱等掌權，段凝為北面招討使，突然升居各將之上。張全義知道這樣不妥，派使者上奏梁末帝說：「老臣受先朝重視，蒙陛下委任為副元帥，我雖年老，還可以帶兵，請交給我北面軍權，我將日夜工作。段凝是晚進之人，德望不夠，擔心人情不和諧，敗亂國政。」末帝沒理睬。張全義依附朱氏近三十年，梁太祖晚年時，猜忌宿將，四次想加害張全義，張全義卑身曲事，將所有家產獻上。到梁太祖河朔一戰喪師之後，每月獻鎧甲馬匹，以補充其軍隊，再加上他服事勤謹盡瘁事職，找不到岔子加罪，所以最後免於災禍。張全義的妻子儲氏，聰明敏捷有才能謀略。梁太祖自從柏鄉一戰失敗後，連年親自征討河朔，懷疑張全義，還有左右旁人進讒言離間，儲氏每次進宮，委曲伸訴道理。有時怒不可測，急召張全義，儲氏進見梁太祖，高聲說：「宗..(張全義)只是一個種田老漢，三十多年來，在洛陽城四面開荒砍草，招來百姓供應軍糧，資助陛下創業。現在年齒衰朽，眼看要死的人了，而陛下還懷疑他，是為什麼呢？」梁太祖馬上笑著說：「我沒有惡意，老太太不用多說了。」
莊宗平定梁朝，張全義從洛陽進見莊宗，頓首待罪。莊宗安慰他很久，因他年老，令人扶著他上殿，賜宴盡歡，下詔令皇子李繼岌、皇弟李存紀等人都把他當兄長看待。這之前，天..十五年(918)，梁末帝從汴州前往洛陽，準備在圓丘祭祀。此時莊宗軍攻下楊劉，佔領曹州、濮州，梁末帝害怕，急忙返回汴州，祭禮沒搞成，然而法物都在。到這時，張全義便上奏說：「請陛下就便巡幸洛陽，我已做了郊禮的準備。」第二天，發文任張全義復為尚書令、魏王、河南尹。第二年二月，郊祭禮結束，任張全義為守太尉、中書令、河南尹，改封齊王，兼領河陽。以前，朱氏梁朝的供應費用，全出自河南府，其後孔謙侵削張全義的權力，中官各領內司使務，有的強奪張全義的田園居室，張全義全都進獻上。四年，撤河南尹職，授忠武軍節度使、檢校太師、尚書令。此時趙在禮佔據魏州，都軍進討沒有成功。明宗被眾多小人離間迷惑，端居私第。張全義臥病時聽說有變亂，憂懼不食，在洛陽家中死去，享年七十五歲。天成初年，冊贈太師，謚號為忠肅。
張全義歷任守太師、太傅、太尉、中書令，封王，封邑三千戶。所領方鎮有洛、鄆、陝、滑、宋等州，三次臨河陽，二次領許州，內外官有二十九任，做河、洛尹正共有四十年，位極人臣，善保自身到頭吉祥平安的，只有他一人而已。張全義樸實大度，求根本務實際，從戰士起家而忘卻功名，尊重儒業而樂於善道。自家不是士族出身，但獎愛士族人家，開幕府徵求賢士，一定要求有實際名望。屬地封邑補充官員，不使用胥吏差役。位極王公之尊，不穿綾羅綺衣，信仰佛教道教，而不沉溺於左道邪門。像上面這些，別人都以為難以做到。自莊宗到洛陽，投奔者都走捷徑求得恩寵，張全義不改往日行為，只是盡誠心而已。言事的人認為梁太祖是世代仇人，應破燒其棺材，只有張全義上奏章申述道理以止之，議論者稱讚他。劉皇后曾隨莊宗到他家裡，對莊宗說：「我幼年時遇戰亂，失去父母，想拜張全義為義父。」莊宗同意。張全義跪下頓首說：「皇后是萬國之母儀，古今沒有此事，我無地自處。」莊宗再三敦促，不能免此事，於是受劉後之拜。此事既然不是他的願望，君子們也不非議他。然而張全義從小在軍中成長，樸實遲滯，凡是百姓打官司告狀的，他以先訴者為得理，因此人多冤枉失真，為時議所非。又曾對河南縣令羅貫惱恨，通過劉皇后向莊宗說羅貫的壞話，使羅貫無罪而死，屍體暴露在府門，冤枉之聲，遠近相傳，這也是良玉中微小的瑕疵。