堅尼地道杜公館，和任何一處杜公館不同，那便是堅尼地道門庭冷落車馬稀，三四十年來杜氏門庭的熱鬧風光彷彿已成陳跡，這並不是說杜月笙落日餘輝，苟延殘喘，竟被各界人士所冷落忽視，而是他一則抱病，一則也由於大陸局勢急轉直下，香港是國共雙方都在公開活動的是非之地，他有心避一避風頭，躲一躲糾纏。剛到香港不久，杜月笙便請袁樹珊給他看了個相，當時，袁樹珊曾慎重其事的說：
「杜先生，最近一段時期你最好閉門謝客，任何人都不見，否則的話，恐怕會有是非。」
旨哉斯言，正中杜月笙的下懷，於是他命人寫張條子，貼在房門口，詞曰：「遵醫囑，礙於病軀，謝絕訪客。」
條子貼出，倒也蠻有效力，卻是有一天，張公權來訪，一腳踏進了房間，要好朋友，杜月笙不得不力疾待客，從此以後，病中謝客的「規矩」為之破壞。
張公權在香港時，當地的華僑日報對他不太友好，刊登出來的消息，於張公權相當不利，因此張公權往訪杜月笙，托他設法向香港新閒界的朋友打個招呼，杜月笙還是叫李裁法負責連絡，李裁法在這件事土又露了一手，他尋到寫張公權新聞的那位朋友，開門見山的告訴他說：
「張公權先生是杜先生的朋友，請你幫幫忙，不要再登張先生不盡不實的新聞。」
那位記者久仰杜月笙的大名，聽李裁法這麼一說，當下便一口答應，自此不再發佈不利於張公權的消息，但是他提出一項相對要求，他想藉此機會，見一見名揚四海的杜月笙。李裁法曉得杜月笙自定的「規矩」，很覺為難，不過那位記者朋友實在是出之於一片虔誠敬仰之心，迫不得已，他祇好去跟杜月笙報告，詎料杜月笙也是面無難色，加以應允，抱病接見了那位記者，於是又破了一次例，不過後來張公權、李裁法，和那位記者杯酒言歡，盡釋前嫌，杜月笙就沒有再參加了。
民國三十八、九年間，在香港長住的杜月笙，雖然怕麻煩、怕糾纏，可是他那顆愛熱鬧的心，卻並未因健康太差而予稍減，即令氣喘咻咻，爬不起床，每天還是巴望看家人親友多走動，常來來。
每天一早，多半是小八股黨碩果僅存的老兄弟顧嘉棠頭一個到，他是專程前來打一個轉，問聲月笙哥昨夜困得好?？今早阿曾起來吃過物事了？風雨無阻，問過便走，並不一定要見到月笙哥，等歇到了快吃中飯的時候，他如果沒有應酬，這頓中飯便十有八九在杜家吃，杜月笙精神好，他便陪陪杜月笙，不然的話，就在外面飯廳陪陪杜公館的熟朋友。顧嘉棠一生一世對共產黨絕無好感，上海淪陷以後，他一提起共產黨便破口大罵，恨透恨透，他說祇要共產黨在上海，他是寧可死在外頭，也決不會回轉去受罪的。
跟杜月笙、顧嘉棠抱著同樣堅決反共態度的是金廷蓀金三哥，金延蓀這次逃難，逃得非常之徹底，全家大小，四兒四媳全部搬到了香港。他也是抱定主張，絕對不跟共產黨打交道，殊不料他的夫人懷鄉情切，不耐客居，也不曉得聽了什麼人的蠱惑挑唆，居然跟金三哥老夫妻倆意見分歧，各行其是。金老太太不顧一切的帶了三個兒媳婦，四名女將由香港開回了黃浦灘，杜月笙、金廷蓀、顧嘉棠一般老兄弟再三苦勸，勸不動這位金三嫂。照金三嫂的意思，她堅持要把四名兒媳一道帶回頭，幸好大少奶在香港醫院中待產，總算免於同行，少受了一番波折與磨難。
金三嫂帶了三位少奶回上海，實使杜月笙、金廷蓀擔盡驚嚇，大費手腳。因為金三嫂回上海後住在殺牛公司附近朱家木橋的金公館，平安無事了一段時期，共產黨猙獰面目暴露，展開了清算鬥爭、三反五反大屠殺，朱家木橋一帶每天都有滿載死囚前往市郊處決的卡車過，嚇得金三嫂心驚肉跳，險乎得了神經病，金三嫂托人想辦法打張路條，自己先逃回香港，留下三位少奶陷身魔窟，而其中的四少奶正是杜月笙的次女杜美霞。