岳飛初平襄漢六郡，宰相趙鼎就對趙構說：「湖北的鄂州、岳州堪稱沿江戰略要地，我請求安排由岳飛鎮守這兩個地方，不但淮西可以憑借他的聲援，湖南、兩廣、江浙一帶也得安居樂業。」趙構深以為然，命岳飛改駐鄂州。自魏晉以來，鄂州城即是長江流域的重要城鎮之一，地處今湖北武漢市武昌區老城區一帶，是長江與漢水交匯之所，州城西以長江為限，城中山丘連綿。從西面長江邊向東延伸，依次有黃鵠山（今名蛇山）、鳳凰山、洪山和珞珈山、桂子山、伏虎山、南望山、磨山、喻家山等，山脈綿延起伏，「地居形要，控接湘川，邊帶漢沔」、「通接雍、梁，實為津要」。
「吳孫權赤烏二年修築舊壘，謂之夏口城。」這夏口城就是鄂州城的前身，其「依山傍江，開勢明遠，憑墉藉阻，高觀枕流。」經過數百年發展，在北宋年間已躍居長江中游最大的城市，是區域性政治、經濟、文化中心。而隨著政權南遷，鄂州的重要地位進一步上升，州城不僅是鄂州與江夏縣的治所，也成為路級機構所在，原設在江陵的荊湖北路轉運司移治鄂州，成為荊湖北路的首府。在駐守鄂州期間，岳飛除了嚴格進行軍隊的整編和操練工作外，還在襄陽府、唐州、鄧州、隨州、郢州、信陽軍、復州（治景陵，今湖北天門市）、漢陽軍等地安排駐防軍隊，興建「山城水寨」，同時，又繼承了宗澤的遺志，實施「連結河朔之謀」，和太原、絳州（治正平，今山西新絳縣）、懷州（今河南沁陽縣）和河東路的澤州、隆德府、平陽府（治臨汾，今山西臨汾市）等地的義軍取得聯繫，積極為下一次北伐的北伐做準備。
然而，就在各項工作都在如火如荼地展開時，岳飛不期然地病倒了。他得的是眼病。岳飛的病從跟隨杜充南撤建康（今江蘇南京市）時就有了，可能跟氣候有關。南方氣候濕熱，尤其是夏天，陽光底下，強光耀眼，眼睛容易發炎，而南下六年，每年岳飛都在暑期用兵，所以，每年盛夏眼睛都會發病。發病時，兩眼病情嚴重程度不一，右眼輕，左眼重，岳飛看東西時，不得不右開左閉，久而久之，人們稱之為「大小眼將軍」。
紹興五年（公元1135年）六月，岳飛病勢加重，「兩目赤昏，飯食不進」，「四肢墮廢」，這種情況下，顯然不再適合執掌兵權了。於是，他第一次向趙構提出了辭職，理由是：以帶病之軀執掌兵柄，關係到國家的生死存亡，如果貪圖榮華富貴，戀棧不去，勢必耽誤恢復故疆大計。
趙構對岳飛越來越倚重，怎肯由他退隱？斷然拒絕。他的回答是：岳愛卿肩負上遊軍備，責任重大，正應該激勵忠憤之心，一雪國家大恥，幫助我建成大功，不許退休！岳飛勉為其難，只好收回了申請。因為沒能解除兵權，紹興十一年宋金議和，趙構為了解除一切可能會形成對自己皇權的威脅，殘殺了岳飛。議和成功後，趙構親率文武百官在臨平鎮奉迎從金國歸來的母親韋氏及趙佶的棺槨。韓世忠也隨駕而行。韋氏見了韓世忠，驚奇地說：「你就是韓將軍嗎？我在北方久聞你大名了！」
韓世忠「嘗中毒矢入骨，以強弩括取之，十指僅全四，不能動，刀痕箭瘢如刻畫。」韋氏見了，唏噓不已，慰勞再三。韓世忠答道：「吾以布衣百戰，致位王公，賴天之靈，保首領得以保全，已無憾事了。」韋氏然後又扭頭見：「怎麼沒見到大小眼將軍（指岳飛）？」一句話，在場的人無言以對。經過了好一陣尷尬，才有人悄悄地告訴她說：「岳飛已經賜死了！」