三十九年五月，王新衡奉召返台，行前，他去向杜月笙辭行，問杜月笙有什麼事情交代？杜月笙則鄭重其事的答道：
「我已經寫好了一封信，請你轉呈。」
他把那封上最高當局書取出，請王新衡先看一遍。杜月笙在信中備述他聽說最高當局身體健康，精神奕奕，心中非常之高興，他並且力陳自己決以「民國十六年時之反共及效忠領袖態度」，繼續努力，以求貫澈，他又說共產黨雖已佔據上海，但是他自己仍在上海留有若干關係，尤且隨時可以派人潛往工作。杜月笙十分熱烈懇切的自動請纓，他說，不論最高當局有任何任務交辦，他一定竭盡力量，設法達成。
王新衡赴台未幾，旋又返港，他帶來一份最高當局發給杜月笙的密電碼本同時告訴杜月笙，他晉謁最高當局的經過。最高當局起先有意留王新衡在台灣工作，但在看過杜明笙的信，並且聽了王新衡的補充說明後，遂又決定派遣王新衡常駐香港，擔當香港方面的重任。
得到如此圓滿的復示，杜月笙矍然而起，抖擻精神，他實有無限的感奮。
杜月笙決心離開上海，赴港避亂之前，曾經扶疾往訪黃老闆，力勸他的金榮哥預早為計，也跟他一樣，作避難香江的打算。
當時，黃老闆推心置腹，向杜月笙吐露自己不得而已的苦衷，黃金榮說：
「月笙，我老了，這些年來，我跟你的境遇不同，我是能不出門便不出門，能不動頂好不動。你算算，我今年已經八十歲，俗話說得好『人生七十古來稀』，我活到了八十一，就已經多活了十一年，今日死或者明日死，對我並無多大的關係。」
黃金榮接下去娓娓細訴的說，自從他六十歲那年正式宣告不問世事，安享餘年，他生活的目標，就祇剩下每天抽幾筒大煙，上一趟混堂淴一個浴湊幾位牌搭子碰幾副銅旗。除此三者以外，無復他求，也非有此三項享受而不歡。因此他堆滿一臉苦笑訴與杜月笙：
「月笙，你替我想想，假使我去了香港，頭一樁，羞館裡發現我抽大煙要捉。第二樁，你叫我到那裡去找碰銅旗的搭子？第三樁，香港有沒有混堂，能否容我這八十多歲的人每天去淴趟浴，也是問題。何況，樹高十丈，葉落歸根，我已風燭殘年，能有幾年好活？共產黨來了，哪怕他們是狼心狗肺，三頭六臂，充其量，叫我死吧，好歹我也死在家鄉。」
杜月笙聽他金榮哥說得如此剴切透澈，心知其意已決，也就不再勸了，卻是辭出來時，意味得出這便是最後的訣別，他忍不住灑了兩行熱淚。
到香港堅尼地台十八號定居，第一次聽到金榮哥的消息，為上海來人說得繪聲繪影，言之鑿鑿。上海淪陷前夕，黃金榮唯恐炮火殃及，自曹河涇黃家花園遷居鈞培裡老宅，逐日淴浴、碰銅旗、吞雲吐霧如故。共產黨進了上海，起先倒還安然無事，但是數月以後，忽有一日，足有一百多人氣勢洶洶的直撲鈞培裡，圍在黃金榮公館的大門口，大呼小叫，齊同咆哮，揚言要把黃老闆家中打得稀爛這時候，八十一歲的黃板匕鬯不驚，從容鎮定，他精神矍鑠，大踏步搶出門外，面對著那一百多攮臂擄袖，瘋狂暴跳的強徒，黃老闆拉開嗓門便是聲聲怒吼：
「我就是黃金榮，你們各位今朝來，阿是要把我黃金榮的家裡打爛！」
多一半人被這白髮皤皤老者的虎虎生氣震懾，也有人雜在人叢中喊：
「是的！今天一定要打爛黃家！」
「好！」斬釘截鐵的一答：「要打爛，我會得自家來！現在我把大門關上，我自家來打給你們看，等歇你們進來查，有一件物事勿曾打爛，你們儘管把我的房子拆了！」
言訖，便命手底下人關大門，童顏鶴髮的黃金榮，擄起衣袖，抄根門閂，就此要自己打爛自己的家。這時侯，偏生又有不知從何而來的「調解者」，隔扇大門之外，作好作歹，高聲排解，在說什麼：
「好啦，好啦，黃金榮已經知錯，看在他一大把年紀的份上，饒他一次」從八歲寫到八十歲
緊接著，便又有人來拍門，黃金榮氣喘咻咻的，親自把門打開，外面有幾個毛頭小伙子，張牙舞爪，指手畫腳，好生教訓了黃金榮一頓。一場毀家的糾紛，方告有驚無險，化弭於無形，百把個窮凶極惡的人，逐漸散去。黃金榮八十多年來從不曾受過這大的侮辱，回到客廳，氣呼呼的一坐，足有半晌說不出話，他老淚縱橫，徒呼負負，那幾個毛頭小伙子教訓了他些什麼，也是一個字都不曾聽見。
隔不了幾天，又有共產黨的幹部上門來，他們滿臉奸笑，卻是態度強硬，逼牢黃老闆，叫他「向人民大眾坦白」，黃老闆雙手一攤的問：
「叫我坦白啥末事？」
「你這一生的事，」共產黨幹部字字著力的說：「從你八歲起，到八十歲為止，請你詳詳細細寫份自白書。」
黃金榮有意反抗，但是家中各人苦苦勸他忍耐，「人為刀俎，我為魚肉」，反抗是沒有用處的。迫於無奈，請位朋友寫了厚厚一迭的自白書呈上去，從此以後便坐立不安，提心吊膽的等候判決。其結果，是共產黨派人來抄家，妙的是，毛病還並不出在黃金榮的自白書上。
黃金榮的二兒子黃源燾，十足的少爺、小開，抗戰勝利後，上海治安欠佳，鋌而走險的歹徒甚多，上海好白相的大少爺，普遍存在一種風氣，那便是別一支手槍防身，並且跟治安、情報工作人員攀攀交情拉拉關係，圖一個安全保障，黃源燾不會開手槍，可是也並不例外。他有一支自備手槍，又跟一位姓戚的諜報人員很要好，上海撤退，姓戚的有一大捆步槍存放在黃源燾住處，這件事黃金榮確實並不知情。
倘若是在黃老闆當權得勢的那些年，鈞培裡黃公館，長短槍支經常也有個五七十桿，這一大捆步槍，實在無啥稀奇，不過共產黨來了，情形大不相同。因此，當共黨幹部破門而入，從黃源燾的那一支手槍抄到了一大捆步槍時連經過多少驚風駭浪大場面的黃老闆，居然也給嚇得目瞪口呆，面如死灰。
當時，共產黨僅祇把槍支沒收，黃源燾則被帶了去問話，共產黨對他倒也並不為難，招出來槍支來源就此作罷。然而，正當祖、叔、孫三代，黃金榮、黃源燾和黃啟予之弟黃啟明衷心慶幸，逃過一場大禍。又數日，共產黨來了一份通知，黃金榮的自白書看過了，「上級」認為他「有罪」，所給他的處罰是，每天早晨到黃老闆自家開的「大世界遊樂場」門口掃街。
「處在矮簷下，不得不低頭」，老邁龍鍾的黃金榮，八十一歲的白髮老翁，由共產黨幹部押解，開始在大馬路大世界門口手執長帚掃街了。消息傳出，全上海人為之震動，當日，也不知有多少人麇集街頭，親眼目睹共產黨凌辱黃老闆。有人欷歔，有人憤慨，黃金榮則面部毫無表情，一步一步的在掃地矮胖身軀，彷彿一具笨重的機械。於是共產黨為擴大宣傳，派了記者來採訪，來拍照，許多「幹部」圍在黃老闆的四周任意謔笑。
這張黃老闆大世界掃街的照片，刊登在上海各報顯著地位，不久報紙傳到香港，一日，杜月笙心血來潮，忽然問起上海報紙為何多日不見？他很關切上海方面的消息，家中各人則因為時值上海清算鬥爭期間，唯恐杜月笙看到老朋友如何受到屠戮迫害，心中難過會得妨礙病體，所以有時候便藏過幾張，不給他看。齊巧這一日杜月笙一定要看新到的上海新聞報家人無奈，祇好再找出來，交到他的手上。
杜月笙一眼便看到「黃老闆掃街」的那張照片，他的表情始則驚駭，繼而切齒，然後便是深切的痛苦與悲哀。他臉色灰敗，身子搖搖晃晃，勉強的將那一段新聞讀完，自此便坐在沙發裡咻咻的氣喘。
那幾天他精神略好一點，金榮哥所受的折磨，帶給他莫大的刺激，於是當日又告病倒，家人十分慌亂，因為他的喘勢越來越急。
又是纏綿病榻，中醫、西醫川流不息，那天，黃老闆的長媳黃李志清到訪，除了探病，她還有重要事體要跟杜月笙商量。
杜月生在病榻上很親切的喊黃李志清「妹妹」，請她坐下，問她有什麼要緊事？於是，黃李志清拿出了一封方自上海寄來的信，黃金榮向他的媳婦「求援」，他叫黃李志清趕緊設法籌款匯寄上海，因為，共產黨要黃老闆捐獻兩萬美金。
看完了信，杜月笙又是一陣憤恚與激動，好不容易用藥物壓制下去他的急喘，他漾一抹苦笑，有氣無力的問黃李志清道：