姚氏本来想随着自己的丈夫一起去，可是想起了丈夫的嘱托，她便犹豫起来，她死很容易，只需纵身一跳就可以了，可是她怀中的这个孩子怎么办，难道就任其自生自灭？那在这个滚滚洪流之中，这么一个未满一月的小婴儿有可能会活下去吗？所以她觉得她不应该死，而是应该活下去，把小岳飞抚养成人，这样她才能对得起生死未卜的丈夫。想到这里，姚氏把岳飞紧紧的搂在了怀里，而小岳飞也安静了下来，躺在了自己母亲的怀抱里安然的睡去了。姚氏母子坐在木盆之内，随势飘荡，任意东西，虽然屡经惊吓，终于安然无恙，最后在河北大名府黄县的境内，随着一股水流漂向了岸边，被偶然经过的人救起，这才得以侥幸逃生。在这场大洪水中，岳家庄的人大部分都已经丧身水底，可是这岳氏母子却奇迹般的活了下来，或许是这种经历太让人感到不可思议了，所以听说了这件事的人们不免传出了岳飞根本就不是肉身凡胎，而是天神下界。
岳飞母子虽然侥幸逃生，但家道却从此中落。这场灭顶的洪水，夺走了岳家祖辈辛苦积累下来的丰厚的资财，以及建立在这些资财之上的社会地位，和富家子弟可以享受到的一切，这些岳飞都享受不到了。也就是说岳飞母子转眼间就由比较富裕的庄户沦为了贫雇农。这就使得生活变得骤然紧张起来，尤其是在天灾人祸比较频繁的时候。岳飞母子被获救以后，为一姓王的员外所收养，岳母平日就靠为人做针线活来维持家计，靠这些来抚养岳飞。就在岳飞六七岁的时候，迫于生计，小小年纪的岳飞就参加了一些国所能及的体力劳动，砍柴放猎，打水送饭。在年龄稍稍大了一些的时候，他还曾到大户人家里做庄客，打短工。
在这种情况之下，他自然无法一心一意的求学读书了，而且当时他也没有这个条件。可是小岳飞的进取心很强，求知欲也很旺盛，利用一切可能的时间和机会去学习。他的母亲姚氏也很有志气，她不愿自己的家庭就此没落下去，她甘心让岳飞以后沦为一个脸朝黄土背朝天的庄稼汉。她自己虽然没有能力来改变眼下的凄凉处境，所以就把家道振兴的希望全部寄托在岳飞的身上了。姚氏自己本来就是大户出身，受过一定的教育，于是就做起了岳飞的启蒙老师，都他认字读书。没有钱，买不起纸笔，姚氏就自己做了一个沙盘，里面盛满了沙子，教岳飞在上面写字，字写满了以后，可抚平再写。在这种艰苦的条件之下，岳飞竟然认识了不少字，并且还练出了一手龙飞凤舞的好书法。
在宋朝，下层学子主要是靠科举考试来挤入上层社会，从而改变自己的政治地位和经济地位，像汉、唐人那样通过从军来建功立业几乎是不可能的。从赵匡胤陈桥兵变以来，进行就一直奉行着重文轻武的政策，军人受到了轻视，士卒被称作为赤佬，为了防止这些人逃跑，他们的脸上都要被刺字，就像是受了黥刑的囚犯一样。所以人们视从军为畏途，逃之唯恐不及，但岳飞从小时候起就一直渴望能够做一名将士来保家卫国。他不是不想金榜题名，而是他实在受不了异族入侵的嚣张气焰。岳飞所在的时代，北宋朝廷边备松弛，委曲求让，使得辽金屡屡起衅，并且几次侵入中原，饮马于黄河，并且大肆抢掠。而大宋的官军们往往是闻风而逃，使得老百姓们备受兵灾之苦。这一切给年少的岳飞很大的刺激，他认为，在国家民族处于危难的时刻，仍去汲汲于追求自己的科场功名，这是最不光彩的行为，非是大丈夫所为。他毅然决然的决定，自己长大以后一定要从军。为看不起赤佬的朝廷来效命，来抵御外敌，保卫自己的家园。
为了能够实现自己的愿望，岳飞小的时候就曾经四处拜访名师，练飞武艺。他先师从汤阴县名手陈广学习枪法。由于他生得健壮有力，悟性又好，又肯下苦功，所以很快就得到了师父的真传，并且加以发扬光大，形成了一套独具特色，让敌人闻风丧胆的枪法，被人们称之为岳家枪，而且将其传说的是神乎其神，在全县的比武当中，岳飞大显威风，以一杆枪使得如蛟龙出海一般，将对手一个个的都赶下了擂台，夺得了全县第一。其后，他又向一个名叫周同的人学习骑马射箭。岳飞在周同的精心教导之下，武艺大进，可以拉得开三百石的硬弓，在奔驰的马背上左右开射，应声中的。周同还教给岳飞研读《孙子兵法》以及《左传》等古代历史书籍中所记载的战例。他常常告诫岳飞道：“用兵打仗不只是靠勇敢，拼死力，那只是匹夫之勇，根本就不值得称道，最重要的是靠智谋策略。如果运用得当的话，那就能以少胜众，以弱胜强。岳飞听了之后连连称是，对师父极为佩服。在周同死了之后，岳飞非常悲痛，每月初一和十五都要到周同的下葬处去祭奠，风雨无阻，人们对岳飞这种不忘故恩旧谊的行为大加赞赏，认为他一旦能为时用，一定会为国效力的。
公元1122年，真定宣抚使募兵，这年十九岁的岳飞应征而去，并且还当上了一名敢殆战士，被任命为小队长。不久之后，岳飞就参加了一次剿匪的战斗，他主动向宣抚使请战，愿领百余名精骑来消灭这股劫掠于乡里，令官兵们十分头痛的土匪。宣抚使还真的同意了，岳飞高兴万分，赶紧下去准备，他让一部分士卒扮成了商人，往土匪所在的营寨去经商。而此时这伙匪徒正在四处抓壮丁，扩充自己的队伍，从而来应付官军的围剿，见了这么一群精壮的商人，自然不会放过一个，所以一个个全都抓了起来，强令这些人入伙。
