紹興七年初的岳飛，正處在歷史上最好的時期。一是再立大功，前一年的最後兩個月，他的麾下在河南陳州、蔡州地區擊退了女真傀儡偽齊「五大王」的進犯;二是加官晉爵，農曆的二月二十五日，南宋朝廷頒發詔令，將岳飛的官階提升為太尉，這是宋代武官的最高階位，同時加食邑五百戶，食實封二百戶;三是在這份以皇帝的名義發佈的詔令中，趙構還談到了君臣齊心協力、恢復大宋河山的光明願景，期待著到了那個時候，「則朕克濟垂成之業，而汝亦有無窮之聞」，這也正是岳飛最大的願望。
更好的消息正在向岳飛招手，在進階太尉前，岳飛接連收到兩道以中央政府名義發佈的《省札》，要求他如果軍中沒什麼要緊事，就到皇帝的行在匯報工作。這時候，淮西軍的統帥劉光世，不僅軍紀不整，而且臨陣退縮，前一年差點把整個淮右斷送掉，在朝野的壓力下，自己申請解除兵權了。皇帝和張浚當時都覺得，岳飛的部隊戰鬥力最強，不如把這支軍隊交給岳飛去帶。正式的接管公文雖然沒有下，但已下令淮西軍聽岳飛的號令。
岳飛很激動。想著即將擔當起領導從襄陽到合肥近十萬軍隊的重任，沒等正式被任命鄂州軍兼淮西軍的總司令，他就給趙構寫了奏章，半是感謝信，半是請戰書。除了提出戰略構想，後勤保障也考慮了。他要求皇帝下令有關部門積極備戰，不要再像上次那樣，因為補給不力而影響戰局。後果很嚴重。這事黃了。才過了幾天，又說淮西軍不交給岳飛了，改為「都督府直轄」。岳飛不幹了，他先去找了以宰相身份兼任都督諸路軍馬事的張浚，兩人在用兵收復失地上一向很合拍，這次卻不歡而散。其實，明確向皇帝建議不把淮西軍交給岳飛的，正是張浚。理由很簡單：不能給武將太大的兵權。張浚是這樣認為的，主戰的李綱和主和的趙鼎也是這麼認為的。大臣們都不同意，那就去找皇帝。為了說服皇帝，岳飛還作了三年恢復中原的保證，都「拍胸脯」了，皇帝還是不同意。
岳飛一氣之下，居然不回軍營，而是去了在廬山的別墅，揚言要繼續為母親守孝。趙構一連寫了兩封信給他，希望他重新回來主持工作。岳飛回信了，兩個字：不幹。趙構這時有點窩囊，又給岳飛寫了封信，大意是你是個大忠臣啊，別和張浚一般見識，聽話。同時還以三省樞密院的名義讓岳飛的部下李若虛和王貴到廬山去勸他。對他們兩個，就沒那麼客氣了：如果岳飛不下山，就把你們兩個一起軍法從事。最後是李若虛連哄帶嚇，岳飛才接受皇帝的命令返回軍營。
李若虛在廬山上，曾嚴厲地對岳飛說：這樣堅決地不聽從朝廷的旨意，決非好事;難道您以為可以和朝廷相抗嗎？岳飛下山後，估計也是後怕了，曾三次向皇帝謝罪。趙構的回復很淡定：我沒有生氣。要不然，就處罰你了。怎麼處罰呢？就像太祖說過的那樣，犯了我的法令的人，只有用劍來教訓他。看到皇帝的回復，岳飛會是怎樣的表情，沒有人知道。但他很快再次領教了皇帝的威嚴，這一次，有人記錄了下來：他當著趙構的面緊張得語不成句，退下來之後面若死灰。
「卿言雖忠，然握重兵於外，此事非卿所當預也。」——趙構的這句話，把岳飛嚇得「面如死灰」。岳飛為了淮西軍的事，撂了幾個月的挑子，大概在紹興七年(1137年)七月從廬山上下來了，回到了軍中。可沒過多久，大概在九十月間，他又被皇帝叫去奏事去了。當時皇帝不在杭州，還在南京「靠前指揮」金國和偽齊的南犯。