真實的岳飛：民間流傳不少歷史人物的傳奇故事，許多是後世虛構的。但就岳飛而論，在《說岳全傳》和一些戲文中，雖然虛構事跡頗多，但對他的高風亮節其實反映得並不充分。
岳飛有一句流傳近千年的名言：「文臣不愛錢，武臣不惜死，天下太平矣。」在宋代社會，官場中充溢著崇文抑武的習氣，武將被指為粗人。武將能講出如此一針見血、言簡意賅的名言，已屬極為不易，更何況是身體力行。他擔任高官之後，收入自然頗高，卻一直維持著相當簡樸的生活。後妻李娃有一次穿絲織品，岳飛就一定要她更換為低檔的麻衣。他的私財收入是十分豐厚的，卻經常化私為公，以私財補貼軍用。有一次，以宅庫中的物品變賣，造成弓二千張。他遇害後抄家，家中根本沒有金玉珠寶，貴重物只有三千餘匹麻布和絲絹，五千餘斛米麥，顯然還是準備貼補軍用的。
宋代的統治階層納妾是很平常的事。如抗金名將吳玠服用金石，酒色過度，咯血而死。韓世忠不僅納妾多人，還喜歡侮辱部將妻女，竟迫使猛將呼延通自殺。
岳飛的前妻劉氏是在戰亂情況下，自動離家改嫁的。他與後妻李娃廝守一生。有一次，吳玠屬官出差到岳飛軍營，對於岳家軍中別無姬妾、歌童、舞女等勸酒作陪，頗感驚訝。回去報告吳玠後，吳玠特別為岳飛送來一個四川名姝，並置辦許多金玉珠寶做妝奩，然卻被岳飛打發回去。
岳飛根本不是戀棧的官迷，他幾次上奏，都表白了準備功成身退的心跡。「三十功名塵與土」的名句，正是表達他賤視官爵的心態。南宋的百姓對此有廣泛崇高的評價，說他「手握天戈能決勝，心輕人爵只尋幽」。
岳飛有五個兒子，他死時僅三十九歲，卻已是抱兒弄孫的祖父了，長孫岳甫比幼子岳靄大一歲。因年齡關係，真正能隨他出入戰陣的就只有長子岳雲，他對岳雲的要求可說是超乎尋常嚴格，這應是與力圖矯正宋軍中的各種裙帶風式的腐敗有關。當岳雲還是一名小軍士時，在訓練時不慎跌下馬來，就被岳飛嚴責一百軍棍。岳雲年齡稍大，就成為一名十分驍勇的戰將。他的兵器不是像演義或戲曲中所說的，是一對鐵錘而是一對鐵錐槍，軍中稱他為「贏官人」，意為這個「官人」(官員的尊稱)總能打贏。