公元1137年，即紹興七年，二月，岳飛奉命進京述職。皇帝在他的「寢閣」就是臥室裡單獨召見了岳飛。皇帝對岳飛說：「光復國土，中興大宋這項事業，我就托付給你了。從今以後，除了韓世忠、張俊之外，其餘的軍隊都交給你節制。」！如果這一切順利實現，這位青年將軍與對他有知遇之恩的青年皇帝，君臣二人的人生事業將可能達到一個令人目眩的光輝頂峰。至此，岳飛迎來了自己生命中的黃金歲月。可是，後來發生的有關誰來接管劉光世淮西部隊的問題，徹底終結了君臣二人的情誼。當時宋高宗將劉光世兵權收回，想要任命岳飛接管劉光世大軍。樞密使張浚不同意。他特意召見岳飛，兩人發生了如下談話。張浚說：「淮西這支部隊很服氣王德，現在準備任命他擔任總管，酈瓊擔任副總管，你以為如何？」
岳飛回答：「王德和酈瓊素來不相上下互不服氣，這種安排必導致二虎相爭。呂祉雖是通才，畢竟是書生，不習軍旅，恐難服眾。」張浚問：「張俊怎麼樣？」岳飛回答：「我本不敢說三道四，但為國家利益考慮，恐怕張宣撫性子太暴躁，缺少謀略，劉光世部下會不服。」張浚陰沉著臉，沉默片刻，又問：「楊沂中應該高出這二人了？」岳飛搖頭道：「沂中雖勇，和王德差不多，怎麼駕馭得了這支部隊？一旦處置不當，變亂可能在彈指間就會發生。」張浚終於忍不住了，說出了一句相當傷人的蠢話：「我就知道非太尉你來不可。」岳飛也忍不住了，憤慨地說：「都督您正兒八經地問我，我不敢不據實回答。難道我是為了圖謀這支部隊嗎？」雙方把話說到這個份上，已經全然沒了迴旋餘地。岳飛離開都督府，立即上了一道奏章請求辭職。然後未等批復，就把軍中事務委託給助手張憲代管，自己回到廬山，給母親掃墓守孝去了。
結果，不該生氣的人——宰相張浚和皇帝趙構絲毫沒反省自己的意思，他們比該生氣的人生的氣還大。《宋史》記載，此後張浚多次上奏彈劾岳飛：「岳飛處心積慮，一心想兼併別人的部隊。此次辭職，真實意圖是要挾皇帝。」這種不負責任的彈劾，具有極其可怕的殺傷力，岳飛陷入險惡的漩渦中。岳飛是天才的軍事統帥，富有軍事上的洞察力，在政治上卻表現出十足的幼稚。可能的推測是，此時，岳飛仍心懷對趙構知遇之恩的感激，潛意識裡希望用這種賭氣的方式，喚起皇帝的覺悟。從後來的發展看，趙構基本接受了張浚的說法，在心理上關閉了對岳飛理解與信任的大門，只剩下利用。利用完後，則是誅殺。中國歷史上，失去信任後，皇帝誅殺功臣的事不勝枚舉。這可能是中國「過河拆橋」、「卸磨殺驢」之類格言諺語比其他國家和民族多得多的主要原因。
趙構採取了很絕的方法處理岳飛辭職事件，他給岳飛最主要的助手下了嚴厲的命令，讓他們敦請岳飛復職。如違抗，或做不到，就行軍法。於是，李若虛二人只好來到廬山東林寺勸說岳飛出山。岳飛很惱火，堅持不肯。一直僵持到第6天。李若虛說：「難道你想造反嗎？難道讓你出來不是好事嗎？你堅持不幹，朝廷怎麼會不懷疑你？想想看，你不過是農夫出身，受天子委託，掌握這麼大的兵權，你是不是覺得可以和朝廷抗衡了？如你堅持不復出，我們二人受刑死掉，應算是沒什麼對不起你了吧？可你一點都不覺得有愧於我們嗎？」這番話，很可能將此時趙構深藏在心底、想說而沒說的話說了出來，魔鬼般預示出岳飛的命運。