民國三十八年五月二十七日，上海國軍於殲滅共軍十一萬人後，因戰略關係撤出上海，是日楊虎、吳紹澍等自大西路引入共軍，為虎作倀，自取滅亡。共產黨指派陳毅為偽上海市長，陳毅沐猴而冠以後所辦的笫一件事，便是「情詞懇切」的公開致電旅港上海耆紳，金融工商領袖五大亨，是為杜月笙、陳光甫、李馥生、宋漢章和錢新之。
由於長電之來，猶如石沉大海，陳毅心目中的五大亨，並無隻字片話答覆，陳毅還不死心，也可能是徐采丞在為他自己亟於脫離虎囗，又耍了一記噱頭，陳毅「派」他以上海巿地方協會秘書長的地位與關係，專程跑一趟香港，迎迓杜、陳、李、宋、錢五大亨返滬。除采丞抵達香港以後，其結果是他自己從此也不重蹈覆轍，他留在香港，不再回到黃浦灘。
杜公館的相關各人，陸陸續續的到了香港，上堅尼地台十八號一看，那幢房子不但不合理想，而且不成格局，廳不像廳，房不像房，真正能派得上用場的，簡直數不出幾間。
但是杜公館到了香港的人可真不少，自杜月笙以次，有三樓孫氏太太，姚玉蘭與孟小冬，長兒長媳維藩夫婦已經有四名兒女，次子維垣、三子維屏、五子維新，俱已建立小家庭，七子維善、八子維嵩還在讀書，外加大小姐杜美如，孟小冬的義女美娟，光是家中的眷口便有二十多人，何況還有跟出來的隨從徐道生、司機小阿三鍾錫良、大司務「小鴨子」及其下手、男僕陸圓、解子信，女傭阿妹、小妹等四人。傭人又佔了十個之多。
而堅尼地台十八號一樓一底的房子，樓住上的是陸根泉一家，樓下杜公館，既無庭園又缺圍牆，外面的人朝裡望，可謂「開門見山，一目瞭然」，全屋精華所在唯有一間半圓半方的大客廳，正房祇得三間，其餘小房都是將就走廊空隙隔出來的，一間做了秘書胡敘五的辦公室，另外三間住了杜美如、杜維善、維嵩兩兄弟。姚玉蘭和孟小冬的兩間附在杜月笙的大房間外面，劈面相對，而且聲息相通。
將這幾個人勉強分配好房間以後，再要住人，便毫無空隙，灶披間祇夠住一兩個傭人，其它的傭人必須住在外面，每天早出晚歸。
因此之故，二樓陳氏太太一度由台灣到香港，她反倒住進新寧招待所，三樓孫氏太太則在外面與兒子同住，杜維藩的太太先帶小孩到香港，住過九龍李麗華的房子，後來杜維藩乘海非輪抵步，一家六口便花兩萬港紙，在建華街頂了一層樓，而跟同自上海來的王新衡望衡對宇，隔街而居。其餘成了家的三兒一女，則杜維屏住堡壘街，杜維垣、維新住在渣華街，二小姐杜美霞嫁給了金元吉，她是金公館四少奶，金廷蓀由上海帶出來的一大家人，也住在渣華街上。
方抵香港的杜月笙，由於精神體力的關係，加以當時環境之所限，心情之蕭索，早已失卻創辦事業，養家活口，作長期打算的壯志雄心，這麼一大家人的生活所需以及他自己每月恆在港幣兩萬以上的龐大醫藥費用？需費若干？究從何出？據姚玉蘭、杜美如等回憶，光祇堅尼地台一處，一月開銷至少也得港幣六萬之數，有時候，姚玉蘭還得目掏腰包貼一票蠶絲蝕了十萬
杜月笙帶一大家人到香港，他打的是什麼算盤？無他，「坐吃山空」，用光為止，說來也是可哀，這位當代名人，揮金如土的上海大亨杜月笙，三十八年離開上海的時候，他一總祇有兩筆財產，其中之一，是美金十萬，當年曾因預儲子女教育費的關係，交給了好友宋子良，請他帶到美國代營「生意」。另一筆，約有美金三十萬之譜，那是出賣杜美路那幢渠渠華廈之所得，幸虧有楊管北的一句話，方始提出預存於香港，留下來作為杜月笙走完人生最後旅程的使費。
早在民國三十六、七年間，杜月笙即已有意賣掉那幢自家一直不曾住過，而系金三哥用大運公司賣航空獎券的盈餘，為他所建造的杜美路大樓，起先準備賣給中紡公司，中紡出價美金三十萬。後來，因為，杜維垣認得一位美國朋友，經他介紹，杜美路大廈終以美金四十五萬元的較合理想價錢，賣給了美國駐華大使館。
四十五萬美金在上海花去了一小部份，剩下養家活口帶保命的最後本錢，杜月笙時運不濟，他自作主張去做一筆大生意，結果是一票蝕了美金十萬左右，使得他大受刺激，病體由而日趨沉重。
說起來到是熱心朋友，好意幫忙，想給杜月笙在一進一出之間賺一大票錢，這位朋友是四川人，他經常來往重慶、成都與香港，據他所知，四川是年蠶絲產量特豐，繭價本低，又碰上了時局關係，因而一跌再跌，已經跌到成本之內，低到無可再低。這位四川朋友早已決定斥集巨資，大事搜購，並且他已接洽好了中航公司的飛機，代為運港，這批絲繭運到香港以後，即令比市價再低的話，也可以有十倍八倍的利息。
杜月笙一聽，這豈不是千載難逢的良機，朋友極靠得住，生意更是十拿九穩，加十萬美金股子進去，也許便在數日之間，就可以賺個三五十萬，有這種好生意不做，更待何時？
當杜月笙滿懷希望，欣然加入的特候，四川朋友告訴他，大部份的蠶絲都已經收購好了，貨色集中在成都，祇等中航公司的飛機開始履行合約，撥機逐批運港。那時候，犯川共軍纔祇攻下了巴東，川邊吃緊，成都、重慶，一概安如盤石，共軍跑得再快，也不可能猛一下便威脅到成都，因此，杜月笙交付過股款以後，便篤定泰山的等看賺鈔票。
萬萬料想不到，蠶絲方待啟運，十一月十日一早翻開報紙一看中國航空公司與中央航空公司的負責人，靦顏事敵，帶了十二架飛機，一道飛往北平，兩航投共，使全國各線空運全部中斷，那是當時令人極為震撼的一條重大新聞。這一條重大新聞，對於杜月笙和他的四川朋友，乃至於及後參加的顧嘉棠，震撼的程度尤足驚人，兩航叛變，航線中斷，運絲的合同無人負責，大批的絲堆在成都運不出來，一時又找不到其它的交通工具可資利用，這一個打擊對於當時的杜月笙來說未免太大，四川朋友幾幾乎為之破產，顧嘉棠的一家一當全蝕光，杜月笙則也損失了美金十萬的巨款。
杜月笙急得喘疾又發，在香港時杜月笙治喘，照樣是中西並重，藥石兼投，經常來為他把脈開方子的醫生，中醫有四位，西醫則三名，這七位醫師俱非碌碌之輩，在香港可謂個個都有名望。三位西醫是戚壽南、吳必彰與梁寶鑒，四位中醫厥為蘇州滄浪亭主人、名畫家、名醫師吳子深，還有旅港名醫丁濟萬、陳存仁，杜月笙的門人，婦科聖手朱鶴皋。由於中西藥石兼投，醫生一多，意見難免分歧，究竟該用誰的醫法，該吃那位的藥，家人不敢做主，唯有杜月笙自己決定，因此之故，「久病成良醫」的說法應了驗，杜月笙反而變成他自己的主治醫師了。加以親眷朋友，來往探疾者數不在少，人人對他表示關懷，貼心，今天張三介
紹一位醫師，明日李四貢獻一個偏方，弄得杜月笙醫生越請越伙，用藥越來越雜，幾個月下來的結果，他曾自嘲的說：
「如今我是拿藥當飯吃，拿飯當藥吃了！」
杜月笙本人無法拿出定見，決定祗請那一位醫師主治，別人更不敢代出這個主張，「群醫咸集，藥石紛下」，對於他的喘疾，畢竟是益少害多，莫說喘疾時至今日猶無根治的方法，即令當時有，以杜月笙的「急病亂投醫」情形而言之，也是很難治療得好。