其中日本每日新聞特別強調杜祠圖書館之設，認為「將來完成，益足以增江南之名勝」云云。嚴格說來，杜月笙開祠堂，「自國府主席以至庶民，無不備禮申賀」，誠然是他一生之中，最絢爛光輝的一筆同樣的也是他置於平生最高巔峰狀態，不過，開祠堂僅祇是一家姓之事，對於國家社會，關係究竟不大。杜月笙能花五十萬元建立家祠，而他的朋友和門人弟子，也能醵資十萬，在祠堂旁邊建立一座「浦東杜氏藏書樓」附設學塾，這才是真正的「錦上添花」，不但開風氣之先，而且做了一件極有意義，有益於國家社會的事
建立這所藏書樓，當時曾有一篇序，指出在杜氏家祠之側「經始立學，並建藏書樓」，完全是出自杜月笙的一番宏願，杜月笙的一百二十五位朋友、門人和學生，則是「公贈圖書若干萬卷，以成月笙先生之志，抑亦東南文獻之盛事也」。由此可見，學塾和藏書樓是因杜月笙的一腔願望而籌設的。
一百二十五位贊助人中，包括王伯群、吳鐵城、楊虎、楊傑、劉蘆隱、湯漪、陳群、張翼樞、張頌椒、蘇嘉善、楊志雄、劉志陸、吳醒亞、汪嘯崖、李應生、王仲奇、張澹如、傳品圭、孫祥簋、朱如山、謝葆生、楊管北、趙君豪、唐世昌等，可以說都是跟他平素比較接近的一群，他們幫助杜月笙完成了一項盛舉。在民國二十年，拿十萬大洋去建一個圖書館和一所學塾，其規模自非小可。
因此，當杜祠落成，前國民政府主席胡漢民，曾於落成典禮後四個月，親自執管，「因略抒所懷以遺之」，為杜月笙寫了一篇：「高橋杜氏家祠記」，凡一千三百餘字，他請中央黨部宣傳部長劉蘆隱工楷書就，制了一塊匾額，送給杜月笙。在這篇文章裡，胡漢民也是別具慧眼，特別讚揚杜月笙興學建館這一點，他說：
「……杜月墅先生，今之任俠人也，信言果行，重取與然諾，好急人之難，捐軀命以赴困阨，怡如也。大江南北，識與不識，鹹重其義而慕其風。辛未（民國二十年）之夏，先生建家祠於海上浦東之高橋鄉，並附設學校及圖書館，上以崇先祖，下以啟後賢，不以遠遺，不以己私，其用意甚厚，其望於族人者甚巨且遠。詩曰：『豈無它人，莫如我同姓！』以余觀杜君之所為，蓋俠而儒者，其賢於朱家、郭解遠矣！果能秉此旨以逞國族基礎之確立與鞏固，固當在此！而民族獨立，民權普遍，民生發展三端，或將尤有賴焉！祠成先生囑為之記，余喜其能符於我黨總理之遺旨，且有裨於人心世道也，因略抒所懷以遺之。」
就在這一年的十一月粵變和平解決，舉國上下，同心同德，共赴國難，汪精衛等自粵抵滬，國民黨三中全會通過恢復汪精衛、陳公博、俞作柏等三十四人的黨籍。十一月二十六日，汪精衛一時興起，援筆為杜月笙「謹撰」了一篇「高橋杜氏家祠記」，他在這篇親筆寫就的文章裡面也是這麼說：
「……中國數千年來，有一種民族精神隨時隨地，可以表現者，厥為報本，其大者祭祀天地，以其覆育萬物也，乃至一羹一飯之微亦必先祭，始為飲食之人，此種風尚，窮鄉僻壤，野老耆舊間，猶往往遇之。夫人類之智能與能力，乃無數心血所積累而成，故報本之義，不僅繼往，尤在開來。文化之日進有賴於是，而親之則報本之尤著者，庸可以宗法社會之觀念囿之歟？
「或又以為家族思想其量不弘，不知忠恕之道，在推己及人，惟能老吾老以及人之老，幼吾幼以及人之幼，乃能使人不獨親其親，不獨子其子也。
「杜君月笙，今之任俠人也，平日見義勇，能急人之所急，重然諾，輕施與，於慈善教育多端，尤多所致力，聲名藉甚大江南北。二十年夏建家祠於黃浦江東之高橋鄉，附設家塾及圖書館，蓋於報本反始之中，仍不忘樂育人才之意焉，此能以親親為基點，擴而充之，以及於仁民愛物者也，是可以風矣！愚既略知其始末，乃樂而為之記。中華民國二十年十一月二十六日汪兆銘謹撰。」