經過了這一件自天而降的尷尬事，黃金榮思前想後，極不心安，自己已經成為要打倒，被推翻的對象，而樹大招風，毛落皮單，朋友出事一受牽連，豈非冤哉枉也，因此他決心退出名利場，回到黃家花園去閉關自守，安富尊容。──法租界當局畀予這位最資深的探份殊榮，請他再擔任三年的顧問名義。
黃金榮這一次退休退得堅決而澈底，他公開宣告，從此不再參加任何應酬，不接受任何請柬。──事實上，他只維持了很短的一段時期
退休後生活悠然自在，抽抽大煙，聊聊閒天，每日下午總會有些老朋友來陪他打打「銅旗」，常到的牌搭子有范回春、楊順銓、朱金芳、蔡鴻聲、和馬掌生。金廷蓀更是不論怎麼忙，必定日日跑一趟，於是黃老闆非常高興，時常在嘴上念著說：
「今朝不管別人怎樣，歪鼻頭是一定來的。」歪鼻頭，是他自己給金廷蓀取的綽號。
及至金廷蓀果然風雨無阻的來了，黃老闆不分人前人後，都會喜歡的搓著手說：
「廷蓀不忘本，他是天天來的。他還跟以前一樣，天天來上班。」
和金廷蓀行程鮮明對照的，是杜月笙難得來一趟，而且每回都是來去匆匆，坐坐就走。這一層在杜月笙來說：他有三層原因：第一、他太忙，確實抽不出空閒時間，第二、他因為食少事繁，身體不好，雖然不常病倒，卻是很怕勞動。第三呢，則是由他和金榮哥沒有共同的嗜好，他不會打「銅旗」，而像他那樣跟錢有仇的豪賭，黃老闆也斷乎不願領教，凡此，都使他覺得在黃公館裡坐不住。
俗諺有云：「蘇州銅旗，急天急地」，因為銅旗的賭法文雅，賭局進行緩慢，輸贏也不會太大。所以，性子急些，想收立竿見影，翻牌見錢之效的嗜賭者，多半耐不住心來玩它。而打銅旗的朋友，也通常都是打打談談，說說笑笑，有以享受雙重娛樂，消磨時間。
談天說地，免不了要觸及外面的時事與新聞，談來談去，杜月笙和張嘯林兩個名字經常都在提起，張嘯林不去管他，黃金榮早已把他從心坎上一筆勾去。但是聽到杜月笙，黃金榮不禁會興起熱切盼望和──輕微的惆悵這兩種心理加將起來，他每每會脫口而出的埋怨一句：「小囝，當我嘸介事啦！」
有些人存心挑撥有意離間，還有些人推波助瀾。最低限度，黃金榮正式退休以後，在他身邊的那些老朋友，很少有為杜月笙說兩句話，解釋解釋的。「老小老小，越老越小」，黃金榮和杜月笙這麼樣一對肝膽相照，休戚與共的老弟兄，往後的漸形疏遠，怨聲時起，多一半是若干人利用機會，以間疏親，剩下來的原因，仍還得歸咎於黃金榮自己老小老小的「小囝脾氣」。
舉一個例，以杜月笙當時名滿天下，望重江南，他已非當年布衣渡江，三餐不繼的吳下阿蒙可比，但是黃老闆發起他的小囝脾氣來，往往當著那些唯恐巴結杜月笙不上的老朋友們，冷譏熱嘲，抽底揭皮，使杜月笙啼笑皆非，下不來台。曾有一次，黃金榮當著眾人的面，對杜月笙施以當頭棒喝：
「月笙，我勸你不要這樣多用心計，免得短壽促命！」
或則，在大庭廣眾間肆意說笑：
「我三十六歲的時候認得杜月笙，後來撥只賭台喊他去吃份俸祿。你們曉得他拿幾個錢一天，哈哈！一天一隻洋！一天一隻」
或者─
「月笙，你現在做了幾十家銀行公司的董事長，總經理，你記不記得？你頭一次當董事是在民國十年，我在殺牛公司茄勤路，由源燾出面辦不收學費的金榮公學，我當董事長，喊你當一名董事。」
杜月笙當時竭力忍耐，向他的金榮哥陪笑臉，連聲應是，事後卻久久難於釋懷。為了避免自求其辱，他漸漸的視黃家為畏途。
由於杜月笙的盡量容忍，他跟金榮哥斷乎不會發生正面衝突，但是黃杜兩系的門生弟子，這時候卻已貌合神離，涇渭分明，漸呈分裂之勢，為了利害衝突，明爭暗鬥，尤所難免。
一日，黃金榮的學生，陳培德突以被捕聞。捕陳者恰巧是杜月笙的門人，這一來，使黃金榮新「仇」舊憾，齊集心頭，他怒沖沖的命人將月笙喊來。
杜月笙踏進門檻，喊了聲金榮哥，黃金榮卻欹在床上大抽其鴉片，故意不理不睬。這一頭，杜月笙眼見金榮哥臉色不對，立刻搬出二十年前的老規矩，老闆有氣，他「小夥計」便恭恭敬敬的立在那裡，等候老闆的斥責或發落。
試想當時杜月笙已是甚麼樣的身價？自南京來的廟堂人物，達官顯要，在黃浦灘的富商巨賈，紳士名流，倘若有事相商，都得事先約好了時間，屆期登門求教，間或碰到不巧，還要在會客室裡候一候，一般人偶獲承顏接詞，莫不沾沾自喜，欣然語人：「今日極獲杜先生青睞有加」，彷彿最大的榮耀。─然而此時此刻，杜月笙喊金榮哥，黃金榮不理，他便直挺挺的站在鴉片煙榻前，誠恐誠惶，屏息守候。他一站，黃金榮大煙間裡的客人，不分男女老幼，輩份尊卑，全部不約而同的站起來。黃金榮眼角里瞟見，猶仍大喇喇的說：
「你們各位坐呀！」
客人們當然不敢坐下，一屋靜悄悄的，只聽到黃金榮的鴉片煙槍滋滋滋響，杜月笙縱有十萬火急的事，即或頭昏腿酸站不下去，他仍然咬緊牙關，竭力支撐，他希望由於他所表現的恭馴，使他這位老把兄息怒霽威，回嗔作喜，有事何妨吩咐一聲，他是絕對會得遵辦的。
三筒鴉片抽足，黃金榮順手抄起小茶壺，骨嘟骨嘟猛灌幾口釅茶，這才重重的將空茶壺一放，虎的翻身坐起，瞪起一對大眼，雙手扶定榻沿，傴身向前，聲聲冷笑的說
「好啦！我現在人到了漕河涇，要打要殺，但憑你們的高興！」
杜月笙低聲下氣，澀澀著笑著說：
「金榮哥有甚麼事情，只管交代下來，何必說這種氣話？給外人聽到了，信以為真，我們這般小兄弟還想做人嗎？」
黃金榮又是氣勢洶洶，大肆咆哮：
「分明是你們在跟我過不去，要我黃金榮的好看！」
「那個敢呢？」杜月笙輕輕的說：「金榮哥，你好把事情說出來了，我在這裡聽候你的吩咐！」
「我問你！」黃金榮餘怒未熄：「陳培德犯了甚麼案子？」
陳培德是黃金榮的學生子，犯了案被關進淞滬警備司令部，杜月笙根本毫不知情，他聽黃金榮這麼一說，當場打電話回去，命人立即查報。他要在電話機旁邊坐著等回音。時間在一廳愕然中過去，杜月笙神情自若，一臉坦然。一會兒電話打過來了，將陳培德因何被捕？如何罪證確鑿？被甚麼人下令？甚麼人動手捉的？此刻關在甚麼地方？「待遇」如何？一五一十，詳詳細細報了來。
放下電話，在座的人以為杜先生一定會理直氣壯，向黃老闆聲明此事與他無關，黃老闆應該責問的對象，應該是淞滬警備總司令楊嘯天，而不是他閉門家中坐的杜月笙。老闆不分青紅皂白，跟他發了這麼大的脾氣，杜月笙大可趁此機會，埋怨幾句。
但是杜月笙其所以為杜月笙，他的過人之處即在於此，放下電話，他轉臉朝向黃金榮，照舊神色不動，溫文平靜的說：「金榮為甚麼事體發脾氣，我已經曉得了。請金榮哥放心，我一定會去替金榮辦好，我決不會讓金榮哥失面子。」
黃金榮一怔，廳眾各人一致歎服，黃金榮給杜月笙吃一頓冤枉排頭，杜月笙不聲辨，不抱怨，反而溫婉的勸黃金榮放心息怒，甚至口口聲聲的以金榮哥的面子為重。這是何等的胸襟，何等的仁義？
這時，滿天星斗一廓而空，在場的朋友，心知不會再有好戲看了，因而假惺惺的遲作調人，他們以勸和的姿態，拉黃金榮往外走，同時七嘴八舌的說：
「杜先生答應過了，老闆還有甚麼不放心的？走走走，我們去打銅旗吧！」
黃金榮只怕是心中很不是滋味，他被眾人簇擁，經過杜月笙的身邊，他瞟他這位仁至義盡的把弟一眼，為了自下台階，嘴裡還在恨聲不絕的說：
「這樁事體不給我辦好，我就上南京見蔣總司令！」
傳說多年的黃、杜失和，兩家恩怨，如果以上所舉的事例而言，失和固非事實，恩怨更談不上，小不愉快誠然有之。不過由於杜月笙的竭力忍耐，以柔克剛，許多尷尬場面，都能化險為夷。其實，晚年的黃金榮，對杜月笙並沒有甚麼不滿意，更不曾發生過利害衝突，鬧來鬧去，無非黃金榮退休以後，老年人的情緒問題而已。