其實在五花八門各種娛樂之中，杜月笙真正喜愛的，還是聽「說書」。他因為自幼失學，中年以後，認識的字並不多，一部通俗演義武俠小說，他也很難逐字辨認下去，但是他偏又喜歡歷史說部，小說演義。於是前後有很長的一段時期，他每天請來上海最有名的說書先生，替他開講大部頭的小說，如三國、水滸、東周列國，上海的說書先生，有所謂說「大書」，與說「小書」之分。「大書」說的是歷史興替、英雄俠義，「小書」則為言情小品，民間傳奇。杜月笙由於興趣關係，他只聽「大書」，請個「先生」，一講便是一年有餘。他對於聽書是很認真的，開了講便決不中輟，每天不論怎樣忙，聽書時間一定要先抽出來。除此之外，他還「邊聽邊讀」，一面聚精會神，聽看說書先生聲容並茂，繪聲繪影的表演。另一方面，他手中要拿一卷「大字本原著」，以便一一對照幫助自己識字，同時考察說書先生有否偷懶漏脫。
於是乎說書先生往往就很緊張，然而杜月笙在這段時間確是很輕鬆的，那時候他家裡已雇得有法文翻譯、英文翻譯，機要秘書和賬房師爺，這批人連同他的太太、兒女，首先是對舊小說不生興趣，二來則要看書不妨買來自家看，不勞說書先生「口傳心授」，因而他和她們向不參加聽書。真正和杜月笙一樣樂之不疲的，全是他那些親隨與舊侶，諸如同參弟兄袁珊寶、馬阿五、馬祥生，以及萬墨林、陸阿發、陸桂才等人，和這般人在一起，或坐或臥，或談或笑，輕鬆自然，不拘形跡，使杜月笙感到份外的欣快和歡愉。他們有時候會渾金璞玉，還我原來面目，開開頑笑打打棚，甚至拿那些道貌岸然、惺惺作態的紳士貴客，背底下調侃一番。
這種「聽說書」的興趣，杜月笙算是保持了大半輩子，往後他到香港，到重慶，都曾千方百計，自上海重金禮聘說書先生來，替他每天開講。
除了聽書以外，跳舞他是逢場作戲，偶一為之，聽戲票戲，雖然一向興致頗濃，但自民國二十年以後，由於事忙體弱，時間鋪排不開，戲還偶或聽聽，唱就不大來事。唯一的例外是民國二十五年，蔣委員長五十華誕，那一天他特別興奮，曾經在漕河涇黃家花園，又登台表演了一次，從此，杜月笙的浦東腔京戲，無疑成為廣陵絕響了。
唯有賭博，成為他一輩子裡持續不斷，樂之不疲的「消遣」，杜月笙一生一，幾乎從來不曾斷過賭，他由兒時的試賭，少年的濫賭，青年的溺賭，直到中年後的豪賭。賭注大小，水漲船高，民十左右，麻將挖花，一場輸贏，動輒上萬，連黃浦灘上都傳為美談。及後到了重慶，由於幣值日貶，他和四川財閥劉航琛、康心如兄弟輩賭起錢來，勝負之數，更是驚人。
時人以為杜月笙既以煙賭而起家，開過規模宏大，允稱全國第一的大賭場，若以常理揆之，他的賭術一定很精，事實上，任何一位跟杜月笙常常賭錢的朋友，談到他的賭術，每每笑著搖頭，他們總是說：
「杜先生賭是不靈的。」
不過有一點，杜月笙自己賭術不行，卻是他能捉「老千」而用「老千」。