李孝伯，趙郡人，高平公李順堂父的弟弟。父親名叫李曾，從小專攻《鄭氏禮》、《左氏春秋》，以教書為業。郡府三次徵召他為功曹，他都不去就任，門徒們勸他，他說：「功曹的職位，雖然說是地方政府所任的高職，但畢竟是郡吏。北面侍奉他人，談何容易。」州中徵召他為主簿，上任一個多月後，歎著氣說：「梁叔敬有句話說：州郡之職，只是勞擾人們而已。無法行道，是身之憂患。」於是又回到家裡，教書授徒。魏太祖時，朝廷征拜他為博士，出任趙郡太守，令行禁止，盜竊強賊之流聞聲逃奔。太宗稱讚他的治績。并州丁零郡，屢屢為太行山以東的盜賊所害，敵人得知李曾受到老百姓的衷心擁戴之後，害怕了，再也不敢入境騷擾。賊寇在常山地界獲得一匹死了的鹿，拿回來說是在趙郡地界得到的，賊首把他責備了一頓，讓他把鹿還回原處。鄰郡的人為之編了一首歌謠說：「詐作趙郡鹿，猶勝常山粟。」可見盜賊害怕李曾的程度。死後，朝廷贈他為平南將軍、荊州刺史、柏仁子，謚稱懿。
李孝伯少年傳承父業，博覽群書。風度翩翩，行為符合禮節法度。堂兄李順在魏世祖面前推薦他，朝廷便征拜他為中散官職，魏世祖一見到他大為驚異，對李順說：「這真是你家門之中的千里馬呀。」遷任秘書奏事中散，轉任侍郎、光祿大夫，賜爵位南昌子，加授建威將軍，皇上把軍國機密大事交付給他，可見其受朝廷寵愛的程度。李孝伯所參預的機密謀劃事宜，當時的一般人無法知道。後又遷任比部尚書。因為他頻繁跟隨征戰，立下諸多謀劃功勳，朝廷又晉爵為壽光侯，加授建義將軍。
真君末年，皇帝南伐，大軍準備向彭城出發。劉義隆的兒子安北將軍、徐州刺史、武陵王劉駿，派將馬文恭率領騎步兵一萬多人到蕭城。被魏國前驅兵馬迎擊消滅了，馬文恭逃走，免於一死，魏軍抓住了他的隊主蒯應。劉義隆聽說魏國大軍南下而來，又派自己的弟弟太尉、江夏王劉義恭率領軍馬趕赴彭城。魏世祖到了彭城，登上當年亞父范曾的墓塚..望城內，派蒯應到小市門，宣讀魏世祖詔書，慰問劉義恭等人，並讓蒯應講述他自己已在蕭城敗北的情況。劉義恭等問蒯應：「魏朝皇帝自己來了沒有？」蒯應說：「本人來了。」又問：「今在何處？」蒯應說：「在城的西南面。」又問：「軍馬多少？」蒯應說：「中軍四十餘萬。」劉駿派人向魏世祖獻上兩壺酒，一百根甘蔗，並請求魏朝送給他一些駱駝。
魏世祖第二天早上又登上亞父墓塚，派李孝伯到小市，劉駿也派他的長史張暢與孝伯相對。李孝伯在遠處問張暢姓什麼，張暢說：「姓張。」李孝伯說：「原來是張長史啊。」張暢說：「您怎麼這麼清楚？」孝伯說；「既然來到這裡，怎能夠不熟悉這裡的情況。」張暢問李孝伯說：「您姓什麼？任何官職？」李孝伯說：「我是戎裝行伍中的一名卒子，哪能勞君如此相問。但我足以與君相匹敵。」孝伯說：「魏主有詔：『太尉劉駿、安北將軍劉義隆可暫時走出城門，魏皇我想跟他們見面，朕也不攻打彭城，為什麼要辛苦三軍將士，城上如此戒備森嚴？』今天特地派我送來賜給你們的駱駝以及貂裘與其他雜物。」張暢說：「依你皇詔書的說法，政治可以施行於其他國家，為什麼就找上了我朝宣詔？」李孝伯說：「你家太尉、安北，是人臣不是？」張暢說：「是啊。」李孝伯說：「我大魏擁有萬國，率土之濱，無人敢不臣服。我皇既是你宋國鄰國之君，為什麼不能稱詔於你宋國的臣子們呢？」李孝伯又問張暢說：「你們何以至於突然就緊閉城門，收起吊橋？」張暢說：「二位王公認為魏帝遠道而來，壁壘未立，將士疲勞，而彭城之中十萬精銳，人思戰鬥，二王公怕他們會衝出城來，沖踏魏軍，所以姑且關起城門而已。等到你們軍馬休整過來，二王決定再在沙場相見，約日交戰。」李孝伯說：「令行禁止，主將常事，所應採取的應當以法辦事，哪裡用得著閉橋關門這種不得已的做法呢？窮迫的城中，哪裡有十萬精銳的海口呢？我大魏也有良馬百萬，我們難道也以此自誇不成。」張暢說：「王侯設險而憑，但求合乎法令要求就行了。我如果誇君勢力，就當說兵馬百萬了，之所以說兵馬十萬，這正是二位王公身邊一向擁有的兵力之數罷了。這座城裡，有幾個州的士庶百姓，那些工徒營伍之人還沒有算進去。我說的是人數，而沒列舉馬匹數量。況且冀州地處北方，出產馬匹，你憑什麼又把那些不是軍中戰馬的野馬算在內而藉以自誇呢？」李孝伯說：「王侯設置險障，的確如你剛才所說的，但有關閉之時，也有開門之日，你們為什麼又乾脆緊緊閉上呢？拉起吊橋，道理又在什麼地方？這座城池是你們守城的將帥所熟悉的，野外打戰是我們的長處，我們憑借馬匹，就如你們憑依城池一樣。」城裡有個叫貝思的人，曾經到過魏國京城，劉義恭派他前去看究竟是誰，貝思認出是李孝伯。貝思上前慰問李孝伯說：「李尚書一路辛苦了。」李孝伯說：「這個事你我行路之人心中都清楚。」貝思回答說：「正因為都知道，所以才問候你。」孝伯說：「感謝你的一片心意。」
既開城門，張暢擯退隨從，撤去儀仗，出城接受魏朝賜給的東西。李孝伯說：「魏皇有詔，貂裘賜給太尉，駱駝、騾子、馬匹賜給安北將軍，葡萄酒以及各種吃食讓你們大家一起共同享受。」張暢說：「二位王公敬回魏帝，知道魏帝垂見，常願親自接駕，但是受命宋朝，居守一方，作為人臣應無境外之交，所以不能私自面見魏皇。」劉義恭獻上皮製衣服一套，劉駿獻上兩杯酒，百捆甘蔗。李孝伯說：「魏皇又有詔書說：『太尉、安北，長久沒有與宋國通消息，應該是十分憂鬱不快。你們如若派遣使者去朝，我們為你們護送，如需要坐騎，我們送給馬匹。』」張暢說：「這裡小路很多，使命官員往返頻繁，不用為此事勞擾魏帝了。」李孝伯說：「我們也知道有水路，好像是被造反的黎庶百姓隔斷了。」張暢說：「君你穿著白衣，便是白賊了。」李孝伯大笑說：「今天所說的白賊，好像指的是像黃巾、赤眉那種身份的人。」張暢說：「黃巾、赤眉，不在江南。」李孝伯說：「雖然不在江南，但也不離徐州地界。」李孝伯說：「向與安北相聞，為什麼你久不通報。」張暢說：「二王高貴遙遠，告訴他們頗不方便。」李孝伯說：「當年周公握發吐飯，接待賓客，二王怎麼格外高貴？」張暢說：「握發吐飯，不是對鄰國的人而言的。」李孝伯說：「本國尚且如此，鄰國更應禮節周全了。賓客應該做到彬彬有禮，主人應該以禮相接。」張暢說：「昨天你們軍馬臨城，未為有禮。」李孝伯說：「不是賓客沒有禮節，只是主人手腳忙亂，無法等到賓客調度罷了。」孝伯又說：「魏皇有詔：『程天祚一介常人，你們誠然知道他非江南之選，而接近汝陽，身遭九槍，落入殷水，我派人把他打撈上來。凡是人骨肉分離，都常思團聚，我們聽說其弟在此，如何不讓其把他領回去？而把他留在我魏軍中。』」張暢說：「已經知道並也想讓程天祚兄弟團聚，而且也要他前來領人，但他弟堅決不去。」李孝伯說：「哪有子弟聽說其父輩兄長回來卻反而不肯相見的道理，這真是連禽獸都不如。貴土風俗人情，怎麼到了這種地步。」
魏世祖派人送去賜予劉義恭、劉駿等人氈子各一件，鹽各九種，加上胡豉。李孝伯說：「魏皇有後詔：『這些鹽，各有用處。白鹽是食鹽，主上自食；黑鹽治療腹部氣脹，研成碎末，一次六銖，用酒服下；胡鹽治療眼睛疼；戎鹽治各種瘡疤；赤鹽、駁鹽、臭鹽、馬齒鹽等四種鹽，都不是食鹽。太尉、安北何不派人到朕這裡來？彼此之情，雖不可盡，但是總要看看朕身材大小，年齡老少，觀察一下朕的為人吧。』」張暢說：「魏帝總是為我們之間往來準備東西，李尚書你親自赴問，我們之間盡可互相瞭解，所以二位王公不再寫信。」劉義恭又獻上蠟燭十根，劉駿獻上錦緞一匹。
李孝伯說：「君你是南方的人，為什麼腳穿木鞋？你腳穿此鞋，將士如何說法？」張暢說：「士人之言，誠為多愧。我雖不是武將，但受命統軍，戎中陣前，不容我隨便著裝。」李孝伯說：「永昌王一向總是鎮守長安，今天率領精銳騎兵八萬直進淮河以南，壽春守軍也閉門防守，不敢對陣。過去割下劉康祖首級送來，你們也見到了。王玄謨也被我們熟悉瞭解，他不過也是平常之才而已。怎麼派他充當抵擋大軍之職，以致奔逃敗北。魏大軍自從進入宋境長驅七百餘里，你們竟然不能稍加抵抗。鄒山之險，是你們所憑借的，我前鋒部隊剛與其交手，崔邪利便如鼠入穴，將士倒戈投降。我魏主憐惜他們，讓他們從軍南下，今在軍中。你們怎麼又輕率大意，派馬文恭到蕭縣拒守，以致使他望風退卻呢。那裡的百姓，怨聲載道，說國境平安的時候，你們找他們催租逼帛，一到危難時，便不能相救。」張暢說：「我們知道永昌已越過淮河向南而來。至於康祖為你們所破，那裡有信使傳遞消息，未見此報。而王玄謨本是南方一名偏將，不能稱做是才，但因他是一名北方人，所以讓他為前部先鋒。魏朝大軍未到，而黃河結冰合攏，王玄謨根據實際撤軍南岸，不是失算，但只因夜晚撤還，才導致戎馬相互驚亂而已。我宋懸瓠小城，守軍是小將陳憲，而魏帝傾國中所有兵力攻打圍困，幾十天都沒攻下來。胡盛之本是偏裨小將，人馬不足三旅，他剛渡翮水，魏國便君臣奔散，僅免一死。滑台之師，沒什麼可多慚愧的。鄒山小必，雖有微險，但黃河邊上的老百姓，大多是剛歸附的，剛開始受我宋教化熏陶，奸盜還未停息，朝廷讓崔邪利率領一些軍馬安撫他們而已。今天雖然被攻陷，於國家有什麼損害。魏帝自己親統十萬軍馬而制服一個小小的崔邪利，還有什麼好值得誇口的？近來聽說蕭縣百姓都憑依山險，不歸魏軍，朝廷只派馬文恭率十隊人馬迎之。馬文恭僅以三隊人馬出擊，還能奔走在魏大營之中。嵇玄敬率百來條船到留城，魏軍奔散潰敗。你們輕敵致此，也不是應該原諒的。王境人民，列居黃河兩岸、兩國交兵，宜當互加撫養。而今天魏師入境，事出意外，我宋官不負民，百姓又有什麼可埋怨的。我們知道魏軍入境七百餘里，卻不加抵抗。如此做法上出自太尉的神機妙算，駐軍武陵的大計劃，這類軍國機要，我雖然未曾參與，但用兵雙方都各有機密，也不容我在陣前明說。」李孝伯說：「君你借此不著邊際的話，支離對答，真可以說是遁辭，知你已無計可施了。況且我魏皇當不圍此城，自統軍馬直逼瓜步。建業若被拿下，此城便不攻自破；南行不能成功，彭城也不是我們想要獲取的。我大軍今日南進，意在飲馬長江大湖呢。」張暢說：「去留這類事，你們自己決定。假如魏帝終得飲馬長江，便是沒有天道。」李孝伯說：「自北而南，實是人化之跡，飲馬長江，豈獨不是天道？」張暢準備回到城裡，對李孝伯說：「希望動盪有個定期，我們相見之日不遠。君你如若還歸我宋朝，今天我們便算是認識了。」李孝伯說：「你今天應當先到建業城以等待魏君。不然我擔心你他日與二位王公一起被捆綁著面見魏君，便沒有臉面了。」
李孝伯風度瀟灑，應答如流，張暢以及身邊隨從很是嗟歎。魏世祖大為高興，進他爵位為宣城公。
興安二年(453)，出任使持節、散騎常侍、平西將軍、秦州刺史。太安五年(456)去世，高宗十分傷心痛惜。贈他為鎮南大將軍、定州刺史，謚稱文昭公。
李孝伯風度翩翩，體度閑雅，通曉明達政事，朝中上下，不論貴賤，都十分推舉尊重他。恭宗曾經啟奏世祖廣泛徵選俊秀之才，魏世祖說：「朕有了一個李孝伯，便足以治理天下，還徵召那麼多幹嘛？即使四下求訪，像這樣的人才哪裡還能得到。」世祖賞識他的程度由此可見。李孝伯性格方正謹慎，忠實厚道，每遇朝廷大事有什麼不周到的地方，他必定要親手書寫上表，直言陳奏，碰上不被接納的，他陳奏再三。他修改草稿，即使家人也不給看見。在官府論議時，李孝伯常常引據綱紀，如有人陳說事情，孝伯總是讓他們充分地發表意見，假使遇到是非大事，李孝伯是始終不會馬虎的。等到他見到魏世祖，便言說別人的長處，從不埋沒別人的姓名以稱自己的好處，所以每位官員，都佩服他的為人正派。自從崔浩被殺之後，軍國謀略大事，都出自李孝伯之手了。世祖寵愛他雖比不上對崔浩，但也是以宰輔的禮節待他。獻替補缺，形跡不見，當時人都不知道這些。他死的那天，遠近之人都十分哀痛悲傷。李孝伯美名，遠近傳播，李彪出使江南，蕭賾對他說：「孝伯與你哪位更為人稱道？」他被很遠的人所稱道，由此可見一斑。