不久之后，岳飞奉命驻军广德，以牵制南下的金军。在战斗的间隙，他抓紧时机进行修整。不断的行军和作战，将士们极度疲劳，需要恢复体力。受损的建制需要恢复重建。随时入伍、仓猝上阵的士卒需要训练，尤其是减员的部队需要补充。岳飞真希望能够有一年半载的时间，来对部队好好整编一番，以便能更好的体现他的军事意图。但这在烽烟四起的时代根本就不可能。岳飞只能见缝插针地进行他的整训计划。主要是招募兵丁，可是岳飞的兵实在是太少了。朝廷对于武将拥兵专横的忌讳，根本就不让岳飞拥有太多的部队，且常常釜底抽薪，借故抽调。这使他难以施展他全部的军事才能。他只能在不触犯禁忌的前提之下，在力所能及的范围内招募一些兵丁。
不过这是很难的，老百姓讨厌军人如同讨厌土匪。何况在战火连绵的年代，壮丁大多已经被迫当了兵或土匪，剩漏的不是东躲就是西藏。岳飞包括当时大多数的将领主要靠做“误入歧途”的人的工作来补充兵员了。即所谓的招降纳叛。不过这样做所带来的问题也是很严重的，使军队原有的匪气更加变本加厉了，这会很快的腐蚀掉一支军队的战斗力。岳飞当然深深的明白这其中的道理，所以，他不只是单纯的招募，而且还进行严格的教育和管理。他绝不容许他所率领的军队军纪浼散和侵扰百姓，如果有人稍有触犯，严惩不怠。有一句话在他的军队里非常流行，就是：“冻死不拆屋，饿死不打掳！”这可不是一句单纯的自我标榜、流于形势的口号，而是一条被严格执行着的戒律，连岳飞自己也不例外。
岳飞有个舅舅姚某，平时就依仗岳飞的声势，胡作非为，侵扰百姓。岳飞知道之后，不便亲自去责罚，就把这件事告诉了自己的母亲，让她出面致意。但姚某知道之后不禁大为恼火，认为岳飞太过狂妄，冒犯尊亲，就想伺机报复，一次与岳飞同行，到了一个没有人的地方，姚某突然催马向前赶了几步，取下弓箭，转身就射向了岳飞，不过在慌张之下，却射在了马鞍之上。岳飞一见大怒，飞马上前，将正要放第二箭的舅舅掀下马来，用佩刀一刀砍死。岳飞的这个举动在当时引起巨大的反响，认为岳飞罚不避亲，为民除害，从而对岳飞更加敬畏起来。
当然也有人认为岳飞太过于绝情，就是深明大义亲手在岳飞背上刺下“精忠报国”四字的岳母一时想不通，对岳飞大行家法，让他跪在祖像前怒声喝斥。可是不久之后，岳母还是慢慢想通了，原谅了自己的儿子。不如此何以服众呢？不服众又怎能报国呢？除有过必罚外，岳飞还是有功必赏，善待士卒。一个大雪纷飞的日子，岳飞的一个下属在军营巡视，发现一个士卒衣着单薄，在寒风中瑟瑟发抖，便上前问道：“你的上司是不是克扣了你的军饷？天气如此寒冷，难道你没有怨言吗？”士卒却回答道：“嗨，其它的将领才经常克扣军饷，自从跟随岳宣抚以来，从来就没有发生过这种事。他从未克扣过我们一文钱。我只所以穿着单薄，是由于家累太重，所得的军饷大半都接济了家人的缘故，我感激都来不及，哪能忘恩负义，抱怨岳宣抚呢？”
杨再兴原来是一名流寇悍将，一次在两面三刀军对垒之时杀死岳飞弟弟岳翻，后来杨再兴兵败，自缚请罪。岳飞并不计较前嫌，亲自为他松绑，收为部将，任用不疑。杨再兴大为感动，发誓效忠，后来竟然战死在小商桥。岳飞这种不计恩怨，待人以诚的作风，吸引了不少文人武士，纷纷慕名而来。其中有一个名叫黄纵，替岳飞掌管机要文件。一次岳飞分沉香，待分到黄纵的时候，只剩下了一小块。岳飞一见分得并不均，就打开了一袋再分，到黄纵时又剩一块，岳飞一时之间竟然不知所措。黄纵看在眼里，深为感动，表示大小无所谓。在岳飞的大力整治之下，他的军队变得纪律严明起来，很快赢得了老百姓的衷心爱护。他们亲切的称岳飞的军队为“岳家军”，以示与其他作风恶劣的军队的区别，他们甚至设立祠堂，纵上岳飞的画像，经常进行供奉祭祀，祈祷岳家军尽早赶走金人，恢复老百姓正常的生活。从此，他们不再一味的拒绝参军了，送子送夫者络绎不绝；也不再坚壁清野了，箪食壶浆者随处可见；更不冷眼观战了，带路送情报者主动踊跃。
在紧张的整军练兵中，岳飞不忘挤时间学习。他深知，若没有诸葛亮之智及淮阴侯韩信之武才，仅凭匹夫之勇是很难扭转当今危局、救民于水火的。这就需要古代的圣贤学习，汲取他们的智慧。他喜欢读的仍然是《孙子兵法》，常置身于身侧，有空时即摩挲学习。与少年时的诵读不同的是，他现在有丰富的军事经验，对书中那精奥的道理有更深的启悟。他经常将这些体会自觉地运用在具体的战斗当中。当然，他也不是完全迷信、机械照搬。宗泽在世之时对此深不以为然，批语他作战不依阵法，岳飞却有他自己的理解，认为古人的阵法并不是万用不爽的灵丹妙药，不可固执迷信，应当根据具体的情况加以灵活运用。用兵的关键在于出其不意，攻其不备，不可能每次都按部就搬布好了阵再也敌人厮杀，那样非吃败仗不可。用兵之道，全在于灵心一点，随机应变。宗泽被他说的心悦诚服，击掌称妙。经过短期的修整之后，岳家军的战斗力得到更进一步的提高，于是他们便四处寻找战机，来打击金人。不久，传来情报说，有一大批金军将途经广德南下。
