岳家軍撤回武昌不久，許昌、陳州、蔡州、鄭州等地又相繼淪於金人手中。

岳飛志在「精忠報國」，別無私念。現在看到奸臣當道，朝廷昏庸，有力使不上，因此，十分痛心。奸相秦檜，經過長期思謀，認爲各抗金將領兵權過大，有礙「和議」。特別是岳飛，更是他投降賣國的阻礙。他進言趙構，詔改岳飛爲樞密副使。這實質上是解除了岳飛的兵權。接着，韓世忠的兵權也被解除了。

秦檜又進一步指使右諫議大夫万俟（上佔下內）羅織罪名，要求免除岳飛的職務。緊接着，又使御史中丞何鑄和殿中侍御史羅汝楫捏造罪名，連連上奏，對岳飛進行所謂彈劾。岳飛被罷官之後，秦檜和張俊便轉而對付岳家軍。他們首先收買了岳家軍中的敗類王俊，還說岳飛之子岳雲曾寫信給張憲，圖謀佔據襄陽等。王俊還親自出來作證，說他見到過這封信。張俊逮捕了張憲，嚴刑逼供，張憲始終不屈。

紹興十一年八月，正當秦檜陰謀進行解散岳家軍時，金兀朮揚言要繼續南進。趙構、秦檜嚇破了膽，急忙派人和談。兀朮捎信給趙構，說必須割讓淮水以北的土地才可「議和」，又在暗中密令秦檜：「必殺飛，始可和。」於是，秦檜又誣說岳飛也曾寫信給張憲，談論「叛逆」的事。遂派人去廬山，謊稱岳飛只要到朝廷去對質一下，張憲、岳雲之事即可解脫。岳飛到了杭州後，立即被秦檜押入獄中，嚴刑「審問」。

在岳飛入獄前後，秦檜命其黨羽四處活動，羅織岳飛的罪名。韓世忠聽說岳飛有處死的危險，抑制不住心中的憤慨，質問秦檜事實真相。秦檜答：「岳飛兒子岳雲與張憲書雖不明，其事體莫須有(或許有之意)？」韓世忠聽了，憤然斥道：「『莫須有』三字，何以服天下」這時，趙構也不認爲非把岳飛處死不可，就連秦治的黨羽親信，對處死岳飛也有異議。御史中丞何鑄經過「審訊」之後，也找不出岳飛有何罪。這使得秦檜遲疑不決，一時難以下手。

紹興十一年臘月二十九日(公元1142年1月27日)，案檜悶坐在書房裏。他的老婆王氏，人稱長舌婦，最是心狠手毒。王氏見秦檜這等模樣，就說：「捉虎容易，放虎難啊!」經過一番密謀，秦檜便手書一字條，傳遞到獄中。岳飛再次被提審，他知道最後的時刻到了，便奮筆疾書八個大字：「天日昭昭，天日昭昭!」

片刻之後，岳飛、岳雲和張憲被秦檜害死於大理寺風波亭下。時岳飛僅三十九歲，岳雲二十三歲。

除岳雲外，岳飛還有四子一女，他們是：雷、霖、震、霞和孝娥。

岳飛死後不久，有些地方就掛起了岳飛的畫像，寄託懷念之情。隆興元年(公元1163午)在朝野的一片呼聲中，孝宗爲岳飛正名昭雪，復其官爵，賜以家地，祿其子孫，恤其家族。後溢武穆，追封鄂王。

歷代歌頌岳飛的小說、戲劇和其他著作不下數百種，全國建造岳飛祠廟多達數十處。其中，以岳飛的家鄉湯陰的岳廟規模較大，文物較多。

岳廟山門外青石臺階下，並排有五具鐵跪像。他們是秦檜、王氏、万俟（上佔下內）、張俊、王俊等五人，面皆朝北，與大殿中的岳飛塑像正相對。

鐵像約鑄於明正德年間。初爲秦檜、王氏、万俟（上佔下內）、羅汝楫四人，後去掉羅，增添了張俊、王俊。鑄像一米多高，均是蓬頭垢面，坦胸露臍，雙手反縛，低首俯背。面目醜陋可憎。明萬曆年問，湯陰縣知事劉貴鍾題道：「逆檜和議長屈膝，人人爭贈兩三磚。」「手中恨少截鐵劍，要斬奸頭訴上昊。」（昊，意爲天）

英雄流芳千古，奸相遺臭萬年，這是歷史的公正判決。

杭州岳墓旁是四具跪像，湯陰則是五具，多了王俊。查史不難明白：奸相秦檜專權，力主「議和「，是殺害岳飛的罪魁；王氏助約爲虐，是個陰險的毒婦；万俟（上佔下內）充當鷹犬，刑訊逼供，是個劊子手；張俊忌賢妒能，依附權勢，是個幫兇。而王俊，則是岳家軍中的敗類，他專以誣陷他人爲能事，賣身投靠權貴，是個靈魂骯髒的爬蟲。人們讓他長跪，可見對他憎恨之深。

施全祠內施全銅像左側，原有隗順塑像，塑像後立一碑名「宋義士隗順之碑記」是爲紀念保存岳飛遺體的隗順而立。

岳飛被害後，屍體被扔棄。獄卒隗順看到岳飛父子被害，十分同情。他趁人們都忙着除夕團圓之機找到岳飛遺體，揹負出錢塘門外九曲叢祠北山旁，並將一個玉鐲暗暗地放在岳飛遺體腰下。掩埋後，又在上邊栽了兩棵桔子樹。隗順年老時，又將此事囑告兒子。他堅信岳飛冤死，日後終有昭雪之時。

果然不出這位正直的獄卒所料，二十一年之後孝宗即位，岳飛的冤案得到了昭雪。朝廷訪求其屍，隗順兒子報知，以禮改葬於西湖棲霞嶺下。