章士釗首鼠兩端，躊躇不決，他這一次「銜命」赴港為毛澤東拉班底，其結果是演成一出笑劇，可能是章士釗聽過杜月笙、王新衡的循循善誘後，神情舉止的變異，使負責監視他的共黨特務起了懷疑。一日，章士釗在他的港寓，剛派傭人出去買東西，他正一人在家等候，共黨監視人員推門進來，請他即刻登車回大陸。據章士釗家的鄰居後來對杜公館的人說：當時章士釗曾要求等傭人回來，作一交杙，但是共產黨特務不准，章士釗又說要去樓上向某人辭個行，對方還是拒絕，於是，章士釗自此不告而別，他等於是給共產黨架走的。
回北平後的章士釗，其後也曾出來到過香港幾趟，他在紅色魔朝做官的願望，始終未能達成，除了什麼「人民代表大會」聊備一格的代表，毛澤東給他的實缺僅祇是偽文史館副館長，支幾文乾薪維持生活，落水者的所得如斯而已。
胡敘五充任杜月笙的秘書，原系抗戰初期經黃炎培介紹過來，抗戰八年，勝利四載，他為杜月笙致力甚多，杜月笙第一次旅港身邊的得力幫手是翁左青與胡敘五，第二次仍還是這兩位，不過首度旅港杜門座客常滿，人文薈萃，如老虎總長章士釗，江東才子楊雲史，吳佩孚的高級幕僚楊千里，都曾降尊紆貴，為杜月笙司過翰墨詞章。二度香港居，文墨方面的工作就祗剩了胡敘五獨挑大樑，因為翁左青明於事理，善長分析，頗能出出主意，管理庶務，若論筆下功夫，新舊文學俱有根柢。那他畢竟是及不上胡敘五的。
胡敘五隨同杜月笙到了香港，工作了一段時期，不知怎的忽然動了蒪鱸之恩，起了還滬之念，口口聲聲的說要回上海。他這一決定使杜月笙大為不安，唯恐胡敘五之回大陸，引起無謂的麻煩與謠言，尤其旅港初期胡敘五兼為杜月笙掌管機密，他嘵得的事情太多，又怕共產黨對他加以利用。
因此杜月笙便親自奉勸敘五兄，設非必要，何苦冒險自陷共區，他一再懇切挽留胡敘五，卻是胡敘五辭意頗堅，無可奈何，又叫跟胡敘五談得來的長子維藩，和萬墨林兩人從旁勸阻。
萬墨林勸駕不曾發生作用，便由杜維藩接手，他約胡敘五到外面吃咖啡。
杜維藩直淌直的和胡敘五談判，他問胡敘五：
「敘五兄，你說老闆從前待你好哦？」
「很好。」
「那麼，你是否嫌氣老闆現在待你不如從前了？」
「我沒有這個意思。」
「敘五兄，」既然是多年交往的自家人，杜維藩便坦坦白白的說：「老闆從前待你好，是因為從前的路子粗，進賬多，日腳好過。現在跟從前大不相同了，現在老闆在香港，一點進賬都沒有，就靠帶出來的那點錢，天長日久，坐吃山空，老闆自家的日腳不好過，跟他的人當然要比從前差一點，好在有粥吃粥，有飯吃飯，大家同甘苦共患難。所以我說你最好不要在這個時候離開，免得人家批評你不夠義氣。」
胡敘五並不否認杜維藩所講的話有道理，但是他去意已決，無法挽回。勸阻無效，胡敘五還是辭去了一斡十二三年的杜月笙秘書一職，他悄悄的回了上海
機要秘書出缺，使杜月笙大傷腦筋，幸虧早年即曾在杜公館任過秘書的邱訪陌，當時也在香港，杜月笙便去請了邱訪陌來，接替胡敘五的遺職。邱訪陌是福建人，中過舉，前清時代還當過一任知縣。他還是杜月笙的老把弟，早年智襄團的首腦陳群陳老八介紹來的，學識淵博，文采斐然，在杜月笙一生所用過的專職秘書之中，就推邱訪陌的文筆最好，有邱訪陌來接胡敘五，不但駕輕就熟，而且更為得力。
想不到的是過了不曾多久，胡敘五又自上海悄然南來，仍舊回到杜公館。杜月笙一輩子都尊敬文人，即令他僱用的秘書，不論相從年份有多久，也是執體甚恭，客氣得很，譬如他對年紀小他許多的胡敘五，十餘年來便一直以「敘五兄」相稱，一直待之如上賓。唯獨這一次胡敘五不聽他幾度苦勸，到上海去打了一個轉，再回來時，杜月笙的神情反應，便就開始冷漠、淡然，面孔也有點不大好看。這倒並不一定全然為了「好馬吃了回頭草」的關係，而是胡敘五以杜月笙機要秘書的身份，在那種共黨統戰，爭取杜月笙還滬，滿城風雨，四方矚目的時候，全無必要的走了一趟上海，實已為杜月笙帶來莫大的困擾，連他的知己朋友，在事隔若干年後，仍還以為胡敘五當年上海行，確與杜月笙與共產黨「搭線」有所關連呢。
杜月笙對胡敘五漸形疏遠，胡敘五便在杜公館投閒置散，一日，他忽走訪杜維藩，邀杜維藩一道做生意。
提起做生意，杜維藩倒是很有興趣，當時他在建華街自立門戶，一家六囗，開銷不而收入缺缺，青黃不接時，積蓄用光，還得變賣手飾。
杜月笙每次談到他幾個兒子的生活問題，常常鼓勵杜維藩他們兄弟三個說：
「你們應該去跟張雲葆學學，就在香港做做生意，賺點銅鈿。否則的話，在香港天長日久的蹲下去，那能個維持法？」
張雲葆是杜月笙的小朋友，在上海和到香港後，都做進出口貿易，尤其香港時期，他長袖善舞，獲利倍蓰，滬上旅港商界中人，就數他春風得意，能夠大賺鈔票。杜月笙叫他的兒子跟張雲葆學，其實各人環境不同，運道殊異，發財的事不是投門拜師所可以學得來的，他無非希望他的兒子，能與張雲葆看齊而已。因此，當杜維藩聽胡敘五說有生意可做，他不覺心中一喜，頓即便問：
「敘五兄，你說要做什麼生意？」
但當胡敘五透露他心中的如意算盤，杜維藩不但興趣全部消失，而且，他不惜兜頭潑胡敘五一盆冷水，正色的告誡他道：
「敘五兄，現在時代不同了，這種生意，不要說做，連碰都碰不得。從前老闆做這個。人人認為將本求利，理所當然。但是此刻除了共產黨，到處都把這個懸為厲禁，誰做誰就犯法，萬一出個差池，準定會攪得身敗名裂！」
胡敘五一聽話不投機，頗不開心，悻悻然的去了。後來杜維藩聽說，他跟別人合夥做了一票，結果卻被人家騙了一筆錢去