杜月笙在香港想盡方法，要把他的二小姐救出來，但是共產黨正一心一意騙杜月笙回海，杜月笙的子女多一個在共區，就他們來說正好是威脅杜月笙的人質，因此他們決不肯輕易應允，綁票勒贖原是共產黨的一貫伎倆，他們怎肯放過這個好題目？起先杜月笙命他的次婿金元吉，寫信到上海請杜美霞出來，共產黨那邊拒絕發給路條，然後，一再函電交馳，依然石沉大海杳無消息，最後則以杜月笙病危為詞，拍發急電，方始將杜二小姐，救出了虎口。多一半是因為在那個時候，杜月笙的長子杜維藩也在萬般無奈的情況下進上海去了。
同時杜月笙的二樓太太陳氏夫人，在杜月笙赴港之先，曾經到過一次台灣，頗想在台定居，杜月笙到香港，她也由台抵港打了一轉，夫妻間話不投機，陳氏夫人便和維翰、維寧回了上海，而這趟回去，竟因而被陷，始終不得出來。
明乎此，則可獲知堅決反共，認清共黨本質如杜月笙者，為什麼在三十八、九年之交，還不敢與共產黨公開破臉，反目相向，有親生骨肉落入共黨的掌握，虛與委蛇，相互鬥法，全是衷心非願，迫不獲已之舉。
在這一段時期，杜公館堅尼地台人客雖少，飯廳裡仍然每天中午準備兩桌飯。一張圓檯面一張四方桌，通常那張圓檯面必定坐得滿，圓怡面坐不下了，再開方桌一席
經常來杜公館吃中飯的，除了杜月笙的兒子媳婦女兒，女婿、顧嘉棠、金廷蓀、王新衡、駱清華、沈楚寶等諸人之外，還有杜月笙的表弟朱文德，總管萬墨林，這兩位在香港經常不離杜月笙左右的哼哈二將，朱、萬二人為了往來方便，都在堅尼地台租了房子，而且和杜公館近在密邇，等於隔壁。朱文德一家住在堅尼地台十號，萬墨林一家住六號
喘不發，腳不麻，精神好，體力夠，杜月笙隨意思之所至，在香港有三樁消遣，其一是賭，其二是書，而其三是為唱。
賭，不僅規模縮小，而且輸贏數目，亦無復當年的豪情勝概，由於精神體力之所限，杜月笙晚年居港，只能玩玩十三賬羅宋牌九，為了湊興，勉強陪他頑頑的，有當年的豪賭朋友朱如山、徐士浩、盛家老五盛泮澄、吳家元、張公權的令妹張嘉蕊。為什麼祗打羅宋牌九？說穿了便是由於打羅宋可以少用腦筋，坐看不動，而且時間不長，隨時都能結束。輸贏雖不能與當年相比，但是一場進出也有個港幣好幾千。即使打這種費力不多的牌，有時候杜月笙還會感到精神體力難以為繼，於是喊杜美霞來代他接下去。
「書」則為杜月笙的另一嗜好，聽說書。「說書」這一行業在香港始終不能生根，要找一位說書先生可謂相當的困難，好在當時有一些「說書先生」也從上海逃難到了香港，杜月笙選了其中的四位：張建國、張建亭兄弟，蔣月泉和王伯英，他請這四位「說書先生」輪流的到堅尼地台杜公館，每天一位，分別為他開講「玉蜻蜓」、
「雙珠鳳」、
「英烈傳」、
「水滸傳」等等著名的說部。「聽書」成了杜月笙的日課之一，他用聽說書來消磨時間，尤其聚精會神聽書時，可以使他暫時忘卻身上的病痛與苦楚。
不過在當時的杜公館，姚玉蘭、孟小冬以次，沒有一個人具有杜月笙這個共同的嗜好，因此，當他一榻橫陳，瞑目傾聽「說書」時，往往房間裡只有他一個人，充其量多上服侍他的徐道生，有時候萬墨林、朱文德也來陪他聽上一段。
「唱」的場面比較熱鬧，曾有人謂「天下之歌，盡入杜門」，杜月笙自己身畔便有姚玉蘭、孟小冬兩位床頭人，允稱須生泰斗與冬皇，再則由於杜月笙一生酷嗜皮黃，他身邊的人幾乎個個都能哼幾句，而且其中不乏佼佼者。堅尼地台杜公館每星期五必有清唱小聚，旅居香港的名票名伶，因為杜公館有冬皇孟小冬在，莫不以一履斯境為無上之向望，莫大之榮幸，但是杜公館的雅集祇限於至親好友，故屬門生，經常必到的有趙培鑫、吳必彰、錢培榮、杜維藩、杜維屏、朱文熊、萬墨林等人，馬連良抵港以後，幾乎每日必去杜公館，他到時雅集又添一份熱鬧。王新衡祇要有空，會與致勃勃的前往參加，他跟著大家稱孟小冬為「孟老師」。