岳飞从北宋徽宗宣和四年（1122年）当兵，到南宋高宗建炎四年（1130年 ）自力成军，大年夜部分时光是在黄河以北抗金。是以构成岳家军的基本是河北人，“后护军者，本岳飞所将河北部曲”。岳家军中的一些重要将领，也是同时与岳飞参加抗金斗争的，他们成为岳家军的原从将领。

各地官军而陆续被岳飞归并者；

南宋初年社会动荡，政局扰攘，溃兵盗匪遍野。朝廷无力控制各支军事武装，兵将骄悍难制，“诸军动则溃，溃则盗，盗则招，招则官，反复轮回，无有穷已”。各武装集团溃散、火并之事常有产生，分合无定势。岳飞素以治军规律严肃著称，他的部队一向比较稳定，很多溃散武装集团纷纷投奔岳家军，成为岳家军中的招降将领，使其部队赓续强大年夜。

岳家军兵强将强，成为朝廷的一支王牌劲旅，只要边防军情紧急或内地寇盗充斥，必调岳家军敷衍战事，并拨隶一部分本地部队归岳飞批示。高宗甚至有时心血来潮，诏岳飞“中兴之事，朕一以委卿，除张俊、韩世忠不受控制外，其余并受卿控制。”有些将领战事停止仍回归本司，但有相当部分兵将则因之编隶岳家军中，成为岳家军中的拨隶将领，从而也强大年夜了岳家军。

1135年（绍兴五年），岳家军的范围从三万多人的范围增长到十万人阁下的范围。这是因为杨幺军的壮丁五、六万人大年夜都编入岳家军，再加上江南西路安抚司统制祁超、管辖高道等部（约八千五百多人），和此后增拨的管辖丘