儘管宋高宗也迫切希望收復失地，但在此過程中一些只可意會、不可言傳的隱憂卻讓他耿耿不寐，徘徊不前。
一方面，北伐一旦開始，必是集全國人力、物力、財力、軍力孤注一擲，勝算多少，他心中沒底;另一方面，南宋草創，根基未穩，一些戰爭中壯大的武夫勢力日漸抬頭，各自為政，紛紛自稱張家軍(張俊)、劉家軍(劉光世)、韓家軍(韓世忠)、岳家軍(岳飛)等等。
遠有老祖宗趙匡胤陳橋兵變的先例，後有他親身經歷的「苗劉兵變」，他對軍閥、藩鎮勢力不斷坐大簡直懼如猛虎，只要有機會，必定快速剪除。
宋高宗自登基之日起，便一直在主戰與主和之間猶豫不決，這從他任命宰相的人選中，也可看出端倪。當他傾向於北伐，主戰的張浚任相;一旦因情況有變而猶豫，稍稍保守的趙鼎任相;如果他傾向於向金求和，主和的秦檜就出任宰相。所以，張浚的去留與升降，是與宋高宗的政策指向密切相關的。
最終推動宋高宗徹底主和這一「多米諾骨牌效應」的第一張骨牌，就是發生在紹興七年(1137年)的「淮西兵變」。
在與偽齊對壘的過程中，由於兵驕日盛，張浚便與宋高宗商量整編軍隊，以免尾大不掉。在宋高宗的安排下，這年三月，張浚解去了劉光世的淮西軍軍權，將淮西軍收為自己的都督府，以都督府參謀、兵部尚書呂祉去節制和統率。
同時，以劉光世的部將王德為都統制，酈瓊為副都統制。酈瓊出身流寇，與王德積隙很深，而呂祉又是一介書生，難以服眾，這種安排為兵變埋下了伏筆。不久，張浚意識到這樣安排欠妥，打算召回酈瓊，奪其兵權，誰知消息走漏，被酈瓊得知。酈瓊於當年八月發動兵變，殺死呂祉，迫使4萬多淮西軍投降當時還未被金廢除的劉豫，史稱「淮西兵變」。
兵變消息傳來，舉國震驚，張浚一時成為眾矢之的，隨即被罷相，以秘書少監分司西京。當時，南宋總兵力才20餘萬，「淮西兵變」使南宋失去了一支關鍵力量，敵長我消，北伐更加難以提上議事日程了。
紹興十一年(1141年)，宋高宗解除了韓世忠、岳飛等將領的兵權，製造了岳飛冤獄，取得了與金和談的資格，隨後殺掉岳飛，正式與金簽訂「紹興和議」。在滿足了金國殺害抗金英雄、向金稱臣、割地、賠款等諸多屈辱條件之後，南宋得到了所謂的「和平」。自此，宋高宗任用秦檜為獨相近20年，一直執行屈辱的乞和政策。「紹興和議」之後，張浚一步一步逐漸成了宋高宗的「眼中釘」。宋高宗把他謫貶到湖南、廣東等地，前後放逐達20餘年。