至此，田中完全打消了讓張作霖下野以及對東北軍進行繳械的念頭，「外科方法」宣告出局。1928年5月16日，田中內閣舉行閣議，決定向中國的南北兩軍分別發出「備忘錄」：勸張作霖迅速退至關外，否則不能保證不解除東北軍的武裝，同時要求北伐軍不得進入東北地區，否則將「採取適當而有效的措施」。
可以看出，這份備忘錄和張郭戰爭時關東軍的聲明頗有神似之處，表面貌似不偏不倚，其實是在幫張作霖的忙，因為北伐軍佔領京津早已是鐵板釘釘，蔣介石要統一中國，下一步無疑就是緊追不捨，用兵關外，但備忘錄畫了紅線，絕對禁止他這麼做。
5月17日深夜，駐華公使芳澤謙吉造訪帥府。芳澤雖然也是個有些資歷的外交官，但有時說話做事不分場合。張作霖「登基」以後，有一次設國宴招待外國使節，芳澤也在被邀之列。宴席上有兩道菜很別緻，一道叫「向陽葵花絲」，一道叫「勝利紅桃片」。前者擺放整齊後像一面民國國旗，後面像一面大元帥的帥旗。芳澤吃得高興，有些忘乎所以，他用手指著這兩道菜，笑著對張作霖說：「我們日本人就愛吃這樣的菜，真好吃，味道太美了。」
言者或許無心，聽者卻感到別有深意，張作霖馬上以諷刺的口吻對他說：「你們願意吃，但恐怕吃不消吧。」一句話，引得全桌大笑。國務總理潘復見張作霖面帶怒容，情知不妙，忙拿話岔開：「喝酒，喝酒，吃菜吧！」接著又悄聲對張作霖說：「大元帥，他們是喝醉了。」其他官員也插話說起別的話題，張作霖的臉色才稍有緩和。
宴會結束，張作霖回到住所後仍餘怒未消，他對身邊的人說：「這兩道菜都有象徵意義，那道像國旗的菜，代表了我們五族共和。他小日本就愛吃，淨想好事！他媽拉個巴子的，他能吃得了嗎？」
現在這個惹人討厭的芳澤又來了。張作霖正和幾個客人打麻將，聽說日本公使來訪，客人們急忙起身告辭，張作霖明顯對接見芳澤提不起興趣，他擺了擺手，挽留眾人說：「我和芳澤沒啥談的，不大工夫就能說完，你們等等！」
見到張作霖後，芳澤先傳達了備忘錄的內容，接著又向張作霖提出了借款修築吉會鐵路的要求，並且誘惑他說：「如果閣下答應這一要求，大日本帝國可以設法阻止北伐軍渡過黃河。」張作霖一向對日軍直接介入中國內戰持反感和抵制態度，聽後立即正色答道：「我們家中的事，不勞鄰居費心，謝謝你們的好意。」
吉會路是「滿蒙五路」中的第一條線路，在秘密交涉中，張作霖已經讓人在相關承建合同上簽了字，但因為芳澤不是秘密行動的成員，所以對此事並不知曉。見張作霖不為所動，洩氣之餘，便忍不住嘲笑道：「閣下應該清醒些，你們打得過北伐軍嗎？」
「這不勞鄰居費心，打打看吧！」如果是中國人這麼說，張作霖或許還能忍受，芳澤作為一個外國人，他是無法容忍的：「打不過他們，我再撤回去也不晚。」
芳澤冷笑一聲：「恐怕未必能回得去吧。」
聽到這裡，張作霖的臉頓時漲得通紅，他拍著桌子大聲喊道：「這是什麼話！關外是我的老家，我願意什麼時候回去就什麼時候回去，誰還敢攔路不放嗎？」
「好了，好了，先不談這些了。」芳澤屬於軟塌塌的性格脾氣，張作霖發這麼大的火，他也沒太當回事，接著又從公文包裡取出張郭戰爭時張作霖與關東軍簽訂的那份密約，放在桌上往張作霖面前一推：「趁閣下還在北京之際，請把這份由您個人簽署的條約改為北京政府簽署的正式條約。沒法子，時間不多了，務請馬上辦理。」
張作霖接過密約，卻並沒有要辦理的意思：「不要急，先放在這裡吧。」
見張作霖又要拖延和推脫，芳澤只得掏出他所認為的撒手鑭：「現在本公使代表帝國政府，正式向你們提出另一嚴重事件。」
「又是什麼事件？」「張宗昌的兵在濟南殺了幾十名日本僑民。」張作霖一聽是這件事，便回答說尚未接到相關報告。
芳澤以為擊中了張作霖的軟肋，便得勢不饒人地對張作霖說：「張宗昌的軍隊是你的部下，你應對此負一切責任。」
芳澤自以為得計，卻不料將張作霖給徹底惹毛了，他霍地由座位上站起，將手中的翡翠嘴旱煙袋猛地往地上一摔，旱煙袋當即斷為兩截：「豈有此理！這件事一無報告，二無調查，空口一說，我他媽的負個屁責！」
張作霖與芳澤的會談一共持續了三個多小時，與張作霖開始稱的「不大工夫就能說完」大相逕庭，裡間的幾位客人都等得有點不耐煩了，便公推其中一位懂得日語的前去聽聽他們到底說些什麼。此君側耳傾聽，可是也沒聽出什麼來，只聽到張作霖說：「我這個臭皮囊不要了，也不能做這件叫子子孫孫抬不起頭的事情！」——張作霖常說：「人是一個臭皮囊，裹著一包膿血，必須有點骨頭。」
緊跟著，不待芳澤辭去，張作霖就丟下這個被驚得目瞪口呆的日本人，怒氣沖沖地離開了客廳。當時留在裡間的幾個客人都很驚訝，不知道芳澤究竟提出什麼問題，才會惹起這麼一場嚴重的衝突。