人馬一撥撥來，場面漸漸打開，開旅館住長房間，終究不是長久之計，於是杜月笙便派人找房子，作小住香港的打算。這香港杜公館便在姚蘭扺步不久以後，設立於九龍柯士甸道一一三號到一一五雙開間門面，樓凡三層，恰與上海華格臬路杜公館相垺。屋主是澳門賭大亨，素有「澳門杜月笙」之稱的高可寧，最近大鬧澳門，為虎作倀，甘做共黨爪牙的澳門煙賭頭腦何某要算是他的第三代，「澳門杜月笙」高可寧有的是鈔票，前些年他一口氣娶了兩位「名兒媳」，一個是葛蘭，一個是尤敏
起先張驥先、吳家元、顧、芮、葉等人大家住在一道，後來各人的家眷也來了或有了，顧嘉棠、芮慶榮搬出去自立門戶，這兩位以及往後陸續從上海來的朋友、弟兄或門人，大都住在柯士甸道前後左右，亦即德承街上一些公寓房屋，四面圍繞，把杜月笙簇擁在正中間。
許世英於民國二十七年一月二十日，自駐日大使任內下旗歸國，沒有尋到房子以前，便住在香港杜公館三樓，居室和老革命黨張驥先遙遙相對，閒來無事，他臨了八大幅王右軍的聖教序，送給杜月笙，杜月笙很高興，懸在客廳的兩壁，往後江南名士，革命前輩，和於右任一齊辦過民呼、民吁報的前監察使楊千里也被杜月笙接到香港，倘有重要文稿，題詞題字，難免要借重他的大手筆。楊千里曾集杜句，為杜月笙題了一副對聯，杜月笙便喜孜孜的掛在客廳中間，聯曰：
三顧頻煩天下計；一生好做名山游。
楊志雄和楊管北兩位智囊，由於上海方面事務尚多，這兩位總是來回的跑，楊志雄去了上海，楊管北便留在香港，楊管北要走，楊志雄再來。秦待時、江倬雲、龐京周、毛和源，一般老朋友，都接受了杜月笙的忠告，相繼避難香江，這幫人也是杜公館的常客，唯獨賭興不如上海時期那麼高。
當時杜月笙擔任得有兩項職務，那是每天都有事情做的，一個是「中國紅十字總會」副會長，會長王正廷，時在菲律賓，一應業務，杜月笙交給他的得意門生，「紅十字會」秘會郭蘭馨代拆代行，郭蘭馨便在杜公館三樓右首要一個房間，作為辦公室，長駐治公。─另一個職務是「經濟委員會常務委員」，主管第九區的振濟工作，日常行政事項，杜月笙派他另一得意門生林嘯谷負責主持，林嘯谷在樓下也要了一間房，每天過來辦事。因此，柯士甸道一一三──五號杜,裡面又設了「中國紅十字會總會」和「振濟委員會」兩大機關。
振濟委員會的對面，住的是以芮慶榮和吳家元，後來葉焯山到了，芮慶榮的家眷不旋踵也趕來，他搬到德承街去自立門戶，他的那間房便移交給葉焯山，──葉焯山在當時算打桿，這位百發百中的神槍將，他一直在香港替杜月笙把頭一道關顧嘉棠跟芮慶榮兩個，住是住在外頭，每天中午以前，一定會照往先早年的老規矩，準時准刻，到杜公館來向月笙哥報到。機密大事，還是要老兄弟商議參詳。
杜月笙自己一家，不論來了多少人，總歸是「杭不啷」住在二樓。
無意間，倣傚了曾國藩的會食制度，每天中午，開一桌飯人多再加，家人父子，親威朋友，老弟兄，師爺秘書，還有學生子們，談談說說，聚而食之。菜色不多，卻是極精，因為港滬之間多的是輪船飛機往來，香港市場買不到的江南菜餚，川流不息送到杜公館，因而使這一幫流浪客減了蓴鱸之思，餐餐吃得朵頤大快。交換消息，商議事體，在這一餐飯間輕鬆愉快的進行。
杜月笙在香港，吳家元怎麼會貼得這麼近？那是因為杜月笙負有重大任務，必須借重他的關係。吳家元做過青島鹽務督辦，他曾是張宗昌的門下客，跟過氣的北洋要人都很熟。除此之外，日本在華三大特務機關「松、竹、梅」之一，「松」機關的主持人和知鷹二，他手下有兩名爪牙，何益三和李擇一，跟吳家元一是好友一是賭伴藉這點香火緣，他可以自由出入華北淪陷區，達成杜月笙交付的使命。
民國二十六年十二月十六日，中日大戰進行了五個多月，我國首都南京陷落，日本軍方希望趁此機會，迫我訂城下之盟，所以，兩天後的東京「朝日新聞」便發表消息：「中國若願議和，日可停止戰爭」，但是，我國上下已經決心抗戰到底，中外人士都認為戰事延長，日本必敗，英國記者尤脫萊在戰爭前夕，便寫了一本著名的書：
「日本的泥足」
（Jpn』sFeetofCly），戰事開始，上海撤退，亞細亞雜誌迅即著論指出
「當日本軍閥冒冒失失的毀壞了大上海的買辦階級資本家與江蘇、浙江的銀行家與地主，它便錯過了獲勝此次戰爭的唯一機會，因為──毀壞了他們便等於毀壞日人所欲實現和平妥協所必不能缺的份子，毀壞了他們的經濟基礎，以及他們在政府具有左右力量之政治勢力。」
南京失陷，日本亟欲結束戰爭，他們授意德國駐華大使陶德曼，向我國提出議和條件，與此同時，進攻蕪湖的日軍第六師團都已經奉令「凱旋」，日本兵歡聲雷動，紛紛將行裝搬回碼頭，結果是日人議和條件被蔣委員長斷然拒絕。於是日方老羞成怒，二十七年元月十六日由內閣總理近衛文縻發表聲明：
「日本政府今後不以國民政府為對手，期望真能與日提攜之『新政府』成立且發展，而擬與此『新政府』調整兩國國交。」
日方致力於製造漢奸傀儡政權，有以貫澈其「以華滅華、以華制華、以戰制戰」的政治陰謀，是為軍事進政以外的另一毒辣險惡新攻勢，我國自須運用一切力量，如以對抗。二十七年初，杜月笙經政府明令發表為「振濟委員會第九區特派員」，同時，由時已升任軍事委員會調查統計局副局長，而實際主持局務的戴笠，撥給他一筆經費，請他多方設法，派人去把日方矚目的「漢奸」對象，自民國十五年段祺瑞垮台即分佈於平津京滬一帶做了寓公的皖系人物，亦即所謂安福派人，一一的接赴自由地區