杜月笙先生遺囑又有云：「……誠以余出身寒微，所受國家社會之恩賜殊多，義之所在，不敢不盡力以赴之也。」
先生在世，無論在任何場合，在任何人面前，向不諱言他「出身寒微」。這是他樸質謙抑，和易近人，而且真誠坦白、胸無城府處。杜先生的童年，不僅對他個人，是一頁血淚辛酸史，即令於他的家族，也有不盡的痛苦與悲慘。杜先生誕生於遜清光緒十四年，民前二十四年，時值清廷積弱，外侮日亟，歐西各國勢力，相繼侵入淞滬，上海若干農工商小市民階級，環境日蹙，生計艱難。杜先生降臨人間，他的尊翁文卿公正設米肆於上海楊樹浦，越一年，母氏朱太夫人帶他由浦東高橋杜家花園舊宅，遷赴楊樹浦依文卿公同住。又一年朱太夫人誕一女，產後即告病逝，以致杜先生不僅在襁褓中痛失慈母，而且連他那位等於從未謀面的胞妹，也因家運的蹇滯，送給一位黃姓的寧波人，作為螟蛉。
先生四歲，所幸文卿公續絃張氏夫人，對先生視同己出，備予鍾愛。然而好景不常，五歲時文卿公病歿，張氏夫人撫育遺孤，撐門立戶，又過了兩年，米店因經營不善，被迫歇業。
張氏夫人只好攜同先生，遄返高橋，勉力維持生活。不及一載，衣食兩缺，母子二人實在撐不下去，張氏夫人被迫脫離杜氏門庭，留下先生這個八歲大的孤兒，茫茫人海，煢獨無依。幸有他的外祖母朱太夫人予以收容，但是外家的生活很苦，因此先生從八歲到十三歲那一段時期，三餐猶且不繼；而負薪、種菜、領孩、煮飯，一應成人的工作，都必須挺身任之。到十五歲那年，外家也耽不下去了，他便一肩行李，兩手空空，和外祖母在八字橋對泣而別，孑然一身，到華洋雜處的十里洋場，去求生存，打天下。
在這樣窮苦困厄的環境之中，杜先生的父母雙親相繼病故，家貧以至無力營葬，兩口靈柩，先後停在杜家花園宅外的田塍上，僅於靈柩上面覆蓋一些稻草，聊蔽風雨，荒丘暴露，為人子者情何以堪？但是家境如此，唯有椎心刺骨，徒呼奈何。
杜先生是從孤寒艱困中掙扎奮鬥出來的，因此他極其瞭解民間疾苦，人生劫難。他從小時候起便已立下誓願，博施濟眾，他曾慨然的說：「將來杜某人有了錢，凡是遇到窮人，我都要加以接濟！」
這句話，杜先生確能終身奉行不渝。從民國七年起，夏施痧藥，冬賑寒衣，死贈棺衾，年節送錢，他對浦東故鄉數以千計的貧弱病苦，一直招拂濟助到民二十六年八一三事變為止而平時任何人有緩急相求，不論數額大小，他無不欣然應命。戰前每月拿著專折，到杜公館支領生活費的，多達二百餘戶。自民國二十四年迄二十六年，短短三年之間，他個人捐輸的各項義款，為數即達一百五十萬元之巨。至於民國十六年北伐之役，十七年陜北旱災，二十年長江大水災，二十一年一二八事變幾度大難，災黎遍野，流離失所，都曾由杜先生登高一呼，國人景從，於是廣施賑濟，全活無算。以是杜先生逝世後，張岳軍先生輓詞中有：
「卜氏輸財，歷濟艱危昭史乘」之句，而王正廷先生亦曾挽以：
「是大眾衛星，義粟仁漿施四海！」
先生早歲飽受貧窮的苦楚，待他成功發跡以後，他仍自奉儉約，不尚奢靡。他在飲食方面毫不講究，山珍海味固所不辭，一碗鹹泡飯，也能吃得津津有味。衣著一道，他更是常年一襲長衫，穿鞋子，他愛穿緞面軟底，新鞋子上腳還嫌不適意，總是命人先替他穿軟了，自己方始著用。
仁民愛物，薄己厚人，這是杜先生立身處世的一大原則，且能身體力行，歷數十年而不渝。香港時報民國四十年八月十九日的一篇社評，對於杜先生的此一美德，論說得相當透澈：「杜氏以一『出身寒微』，『樸實無文』的平民，崛起海隅，……平日立身行己，對人接物，尚道義，重然諾，處處揭示著『樸質無文』的本性，即處處表現著令人尊愛的美德。因此，他能以布衣而抗顏當代名公鉅卿，廣交四方智勇力辯之士，無貴賤，無貧富，皆樂與接近。他又能急人之急，憂人之憂，忍人之所不能忍，救人之所不可救。故其事業的發揚大成，固由於他的才智使然，而社會大眾在無形中給予他的同情鼓勵，也有很大的影響，這些果實的獲致，即是從他一生的義行中產造出來的。」