其實在五花八門各種娛樂之中,杜月笙真正喜愛的,還是聽「說書」。他因為自幼失學,中年以後,認識的字並不多,一部通俗演義武俠小說,他也很難逐字辨認下去,但是他偏又喜歡歷史說部,小說演義。於是前後有很長的一段時期,他每天請來上海最有名的說書先生,替他開講大部頭的小說,如三國、水滸、東周列國,上海的說書先生,有所謂說「大書」,與說「小書」之分。「大書」說的是歷史興替、英雄俠義,「小書」則為言情小品,民間傳奇。杜月笙由於興趣關係,他只聽「大書」,請個「先生」,一講便是一年有餘。他對於聽書是很認真的,開了講便決不中輟,每天不論怎樣忙,聽書時間一定要先抽出來。除此之外,他還「邊聽邊讀」,一面聚精會神,聽看說書先生聲容並茂,繪聲繪影的表演。另一方面,他手中要拿一卷「大字本原著」,以便一一對照幫助自己識字,同時考察說書先生有否偷懶漏脫。
於是乎說書先生往往就很緊張,然而杜月笙在這段時間確是很輕鬆的,那時候他家裡已雇得有法文翻譯、英文翻譯,機要秘書和賬房師爺,這批人連同他的太太、兒女,首先是對舊小說不生興趣,二來則要看書不妨買來自家看,不勞說書先生「口傳心授」,因而他和她們向不參加聽書。真正和杜月笙一樣樂之不疲的,全是他那些親隨與舊侶,諸如同參弟兄袁珊寶、馬阿五、馬祥生,以及萬墨林、陸阿發、陸桂才等人,和這般人在一起,或坐或臥,或談或笑,輕鬆自然,不拘形跡,使杜月笙感到份外的欣快和歡愉。他們有時候會渾金璞玉,還我原來面目,開開頑笑打打棚,甚至拿那些道貌岸然、惺惺作態的紳士貴客,背底下調侃一番。
這種「聽說書」的興趣,杜月笙算是保持了大半輩子,往後他到香港,到重慶,都曾千方百計,自上海重金禮聘說書先生來,替他每天開講。
除了聽書以外,跳舞他是逢場作戲,偶一為之,聽戲票戲,雖然一向興致頗濃,但自民國二十年以後,由於事忙體弱,時間鋪排不開,戲還偶或聽聽,唱就不大來事。唯一的例外是民國二十五年,蔣委員長五十華誕,那一天他特別興奮,曾經在漕河涇黃家花園,又登台表演了一次,從此,杜月笙的浦東腔京戲,無疑成為廣陵絕響了。
唯有賭博,成為他一輩子裡持續不斷,樂之不疲的「消遣」,杜月笙一生一,幾乎從來不曾斷過賭,他由兒時的試賭,少年的濫賭,青年的溺賭,直到中年後的豪賭。賭注大小,水漲船高,民十左右,麻將挖花,一場輸贏,動輒上萬,連黃浦灘上都傳為美談。及後到了重慶,由於幣值日貶,他和四川財閥劉航琛、康心如兄弟輩賭起錢來,勝負之數,更是驚人。
時人以為杜月笙既以煙賭而起家,開過規模宏大,允稱全國第一的大賭場,若以常理揆之,他的賭術一定很精,事實上,任何一位跟杜月笙常常賭錢的朋友,談到他的賭術,每每笑著搖頭,他們總是說:
「杜先生賭是不靈的。」
不過有一點,杜月笙自己賭術不行,卻是他能捉「老千」而用「老千」。