李士謙字子約，趙郡平棘人。
童年喪父，以侍奉母親有孝心而聞名。
母親曾經嘔吐，他懷疑是中毒所致，便跪下去嘗嘔吐之物。
在北魏岐州擔任刺史的伯父李王易，對他特別讚賞，經常說：「士謙這孩子是我們李家的顏淵。」十二歲時，魏廣平王提拔他做了開府參軍事。
後來，因為母親去世而辭官，守喪時傷心得形銷骨立。
嫁到宋家裡的姐姐，也因過度哀痛而病逝。
李士謙等服喪的日子一結束，就將自己的房子作了佛寺，獨自到學舍裡精研學業去了，他博覽群書，孜孜不倦，很快就熟練地掌握了天文、星相占卜等各方面的知識。
齊國的吏部尚書辛術欲召納他為員外郎，趙郡王要以德行科舉薦他，李士謙都稱自己有病而不去。
後來，和士開也看重他的才識，便勸導朝廷將他提升為國子監祭酒，士謙堅決推辭，才得以免除。
隋文帝奪取天下，李士謙矢志終身不做官。
士謙在少年時，父亡，未曾吃肉喝酒，從不說殺生之言。
每遇親朋好友來訪，總是盛情款待，熱情奉陪，整日也不知疲倦。
李氏家族龐大，每到春秋祭神之日，必相聚狂歡，無不沉醉在一片喧鬧聲中。
他們曾聚集在士謙家裡，士謙將豐盛的飯食親自送到客人面前，但他先呈上黍米，並對來客說：「孔子稱讚黍米是五穀之長，荀卿也說吃飯應稱吃黍米，古人所推崇的東西，能容許我們違背嗎？」來客老老少少都肅然起敬，不敢隨便，回去後相互議論說：「見到了真正的君子，才知道我們這些人的淺薄啊！」士謙知道後，卻責備自己說：「被人疏遠的程度怎麼到了這個地步！」士謙家裡十分富有，但自己卻處處節儉，常常把救濟別人作為自己的義務。
在同鄉，有人家裡有喪事而無財力辦理的，士謙總是及時趕到，盡力相助。
有兄弟倆因財產分配不均，而相互爭吵、訴訟，士謙知道後，便拿出自己的錢財，補足那個分得少的人，使他與分得多的相等，兄弟倆都慚愧不已，於是相互推讓，最後他們都變成了很有修養的人。
有一次，別家的一頭牛跑到他家的農田里，士謙將牛牽到陰涼處，並給它備足草料，照顧之周勝過了牛的主人。
每當看見有人偷割他的莊稼，就默默走開，有意迴避。
他家裡的僕人曾抓住偷他家糧食的，士謙知道後，反而安慰小偷說：「你們這樣做，都因家裡太貧困的緣故，本來就不應受到指責。」馬上叫僕人放了他們。
他的一個家僕因喝醉酒後與同鄉人董震比力氣的大小，董震扼住其家僕的咽喉，因用力過猛，家僕被掐死了。
董震於是惶恐不安，膽顫心驚地來向李士謙請罪，士謙卻對他說：「你本來就沒有殺害他的想法，為什麼要請罪呢？不過你要遠離這個地方，以免被官吏拘捕。」士謙性情寬厚，都像這樣的。
有一年，他拿出自家的數千石糧食，借給同鄉的人，碰上這年歉收，債家無力償還，都來向士謙道歉，士謙說：「我家多餘的糧食，本來就是想用來救別人的，難道是為了圖利嗎？」於是把向他借債的人全部召集在一起，以豐盛的酒席相款待，當著他們的面燒燬了所有借債的契約，說：「你們的債全勾銷了，以後再不要為此掛念了。」讓債家們各自回去。
第二年，大豐收，債家都爭相來給他還債，士謙一點都沒有接受。
有一年又遇上饑荒，很多人都死了，士謙又拿出他家所有的錢，買來米做成粥供給那些受飢餓的人，依靠他而生存下來的人數以萬計。
士謙還將那些餓死人的屍骨收集起來埋葬好，沒有漏掉一個。
到了春天，又拿出糧食種子，分給那些貧乏的人家。
趙郡的農民都非常感激他，撫著自己的子孫說：「你們都是托的李參軍的福啊！」有的人對士謙說：「你一定積累了不少陰德。」士謙說：「所說的陰德是什麼，所謂陰德就像耳朵裡的聲音，只有自己知道，別人不知道。
而現在我所做的一切，你我都知道，哪會有什麼陰德喲！」士謙還善於談論玄理，曾經有一客人在座，說他不相信佛家的因果報應，認為其他典籍都沒有記載，士謙對他解釋說：「積善以後就會帶來福氣，積惡太多就會招來災禍。
地位高的人等待封官，掃墓的人希望多出喪事，這難道不是吉凶的報應嗎？佛經上說，法輪幾轉，天道輪迴，週而復始，永無止盡，這就是賈誼所說的，宇宙間萬事萬物，千變萬化，沒有終結，而當佛道還沒有向東傳來之時，那些聖明的人就已領悟它的全部真諦了。
這就像鯀變為黃熊，杜宇變為是鳥夫鳥，褒君變為蛟龍，牛哀變為野獸，君子變為鵠，小人變為猿，彭生變為豬，如意變為狗，黃母變為龜，宣武變為敝黽，鄧艾變為牛，徐伯變為魚，護衛的士兵變為鳥，寫字的書生變為蛇，羊祜的前身是李氏的兒子，這些，難道不都是佛家所說的因果報應嗎？」客人又說：「邢子才曾說：『難道有松柏變為樗櫟的嗎？』我認為他說得對。」士謙答道：「這不是同一類事物，凡屬於因果報應的都是心使他這樣，難道木頭也有心嗎？」客人又問三種教義的優劣，士謙說：「佛像太陽，道教如月亮，儒教似星星。」客人知道不能難住士謙，就沒有再往下問。
士謙平生常寫些詠懷詩，但每次寫好後，都將其燒燬，從不把它給別人看。
他又曾論述刑罰，遺留下來的文章已不全面，其大意是說：君主制定法令制度，應隨著時代的更替進行刪減增補，但不要在短時間內隨便改變。
現在對那些罪大惡極的盜賊處死刑，這種刑罰雖殘酷，但卻達不到懲治的目的，《論語》上說：「對那些不怕死的人就不能用死去恐嚇他。」我認為，這樣的罪應處於肉刑，對初犯者，砍掉他的一個腳趾，對重犯者，就砍下他的右腕。
對那些該流放的砍去他右手的三個手指，再重犯者，就砍下他的手腕。
對小偷應該在他臉上刻記號，再重犯者，就砍掉他起作用的三個手指，再不收斂的，砍下他的手腕，這樣，是沒有不能制止的。
把那些無賴流放到邊遠地方這是自找暴亂，他們正好可以召來胡人，這不是懲治他們的好辦法。
賭博、浪游是盜賊萌生的原因，若屢禁不止，也在他們臉上刻記號，就可以了。」有才識的人都認為這是治理國家的好辦法。
開皇八年(588)，李士謙老死於家中，享年六十六歲。
趙郡的百姓聽到這個消息後，無不痛哭流涕地說：「為什麼不讓我們去死，而讓李參軍去死啊！」參加送葬的有萬餘人。
同鄉的李景伯等人認為，李士謙道德高尚聞名於田園鄉間，就將其一身的言行整理成文書，請求尚書省傍李士謙一個謚號，事情最後沒有辦成，他們於是給李士謙立了一塊碑在墓前。
李士謙的妻子是范陽人，姓盧，也很有婦德。
在她丈夫死後，沒有接受一點別人給她的贈品，對父老鄉親說：「士謙一生喜歡施恩予人，現在，他雖人已去世，但我怎能違背他的志向呢？」於是又拿出五百石糧食賑救貧窮的人。