金人当中更有龙虎大王以下的将官噶克察、千户高勇等竟秘密接受了岳飞派人送来的飞旗榜，准备岳飞大兵到的时候悬挂迎降，连兀术极为倚重的韩常也打算率部倚附。兀术自知道现在自己已经是众叛亲离了，大势将去，便仰天长叹道：“本王自领兵以来，还从未遇到过这种境遇！事已至此，还有什么可说的！”就打定了主意想领着亲信，弃城逃跑。仓皇出走间，路旁忽然闪出一位文弱书生，拦住兀术的马头说道：“大王请慢走，岳飞现在马上就要退兵了！”兀术以为书生是痴人说梦话，不耐烦地回答道：“你一个迂腐书生，懂得什么！岳蛮子只用几千人马，就攻破本王的十几万人马，中原百姓，日日夜夜的都盼他的岳家大队到来，本王难道还会坐待俘虏，不管生死吗？”那书生说道：“大王说错了，自古以来，哪有奸臣在内，而大将能在外面立功呢？大王虽然并不是岳飞的对手，便岳飞何尝又是朝内奸臣的对手呢？大王请稍留，不出几日，岳飞就会撤兵的。
”兀术虽然常年领兵在外，却风闻金朝与秦桧来往议和的事，经书生如此一说，马上就醒悟过来，便重赏了那书生，然后掉转马头，仍然回军汴京。这位飘然而来的神秘书生在历史上没有留下名姓。这或许由于他的行为是为虎作伥，丧失了民族立场，伤了汉人的感情的缘故。但就算他是个魔鬼汉奸，这个魔鬼汉奸也是精明的。他精通世故，对历史有着深切的休悟。他与警戒教训张良的黄石公不同，没有一星半点的仙气和鬼气。他的话是实实在在的，后来的发展印证了他可怕的预言。在岳飞积极联络所有抗金力量，积极筹措北进的时候，朝廷使者飞一般的赶到，敦促岳飞班师。岳飞不禁惊问道：“这是何故？”使者答道：“秦丞相与金人议和，已有头绪，所以请岳少保撤兵，以免使和议夭折！”岳飞听后愤然道：“中原之地已经恢复大半，燕云之地也将唾手可得，在这个时候为什么向言而无信的金人求和，请我撤兵！”朝廷使者听后也是无言以对，默然而去。岳飞当即向朝廷上奏，请朝廷即时抓住战机，速赐指挥，令诸路之兵火速并进！
可是高宗和秦桧看了岳飞的奏折之后，非常恼火，不仅没有命令其他将领起兵，侧应岳飞，反而釜底抽薪，调回了张俊和杨沂中的部队，使岳飞陷于孤立作战的境地。岳飞到了这个时候仍不屈服，高宗和秦桧无奈之下，采取了强硬的措施，一天之内连下了十二道金牌，催岳飞速归。金牌是牌上写有金字，是朝廷在情况紧急时使用，一见到金牌，任何将领都得绝对服从命令，否则就视为叛国，在这种情况下，那将在外，君命有所不从是不起作用的。岳飞一日竟接到了金牌十二道，不觉悲痛交加。他知道这一去，是很难再回来的了。即将成真的宏愿将永远胎死梦中了。秦桧卖国求和和岳飞还可以想得通，可是高宗赵构为什么对自己的社稷那么不爱惜，对自己的骨肉那么绝情呢？岳飞百思不得其解。完了，昔日的凌云壮志！完了，沦陷区痛苦呻吟的老百姓！完了，大宋的江山社稷！岳飞仰面悲叹。
马鸣萧萧，黄河呜呜，似乎在应和着岳飞的悲呼。整个岳家军都笼罩在悲愤之中。岳云、牛臬与张宪等追随岳飞南征北战、出生入死的次来见岳飞，试图劝岳飞抗旨，岳飞忍痛斥责了他们。他强忍着心中的悲痛下了班师令，将士们缓缓地挪着脚步。老百姓们听到这个消息之后，黑压压的来了一大片，跪在了岳飞的马前，哭诉道：“岳大爷，千万不能走啊！您一走，我们就不能活了！”岳飞看着眼前痛哭流涕的众百姓不禁流出了虎泪，取出了金牌说道：“朝廷有令，我不能擅留啊！”众人说道：“难道朝廷不要我们了吗？我们一直盼星星盼月亮盼着你们，可是现在！”岳飞知道他们留在这里免不了受金人的蹂躏，下令道：“你们不用悲伤了，愿随我南去的赶快回家准备，本帅等你们五天的时间。”老百姓齐声应命，五天之后，在岳飞的护送下，扶老带小，牵羊赶牛，慢慢向南行去。金人虽然知道，但惧于岳家军，没有追击。
岳飞的过分忠诚耿直使他不能像成为一名智勇双全的军事家那样成为一名圆滑精明的政治家。他甚至连那位飘然而现，倏忽而隐的白衣书生都不如，竟然对高宗忌言收复的行为大惑不解！高宗怎么会乐意收复失地，甚至捣了黄龙府呢？那样的话，就得迎回徽钦二帝，自己将如何处置他们呢？天无二日，何况三个！当然，如果金人也不谅解他这个苦衷，想用对待徽钦二帝的办法来对他，那他也会起而抗争的。他只想做一个偏安皇帝，为此他可不惜一切地与金人议和。反正，普天之下的所有，都是他自己的。岳飞却不善于揣测并迎合主子幽暗隐晦的心意，只是一味地输忠献诚。
绍兴九年，宋金议，岳飞就慨然上书赵构，表示反对，说道：“夷狄不可信，和好不可恃，相臣谋国不臧，恐贻后世讥议。”可是自然不会被接受，由此却大大的得罪了秦桧。绍兴和议成后，他又上了一道名为祝贺，实是抗议的《谢讲和赦表》道：“夷虏不情，而犬羊无信，莫守金石之约，难称尊壑之术。”并且还不合时宜的请战：“臣愿定谋于全胜，期收地于两河。唾手燕云，终欲复仇而报国；誓心天地，当令稽颡以称藩。”这怎能使赵构不恼火！愚忠往往比奸诈更令皇帝讨厌，因为这类人常常固执一理，而不顾及皇帝的隐衷，使其难堪又不敢光明正大的发作，久而久之，终于酿成大祸。
