湖南地区的农民起义军荡平之后，南宋朝廷就可以全心全意对抗北方的金国与偽齐，不必再害怕有人扯后腿。而且因为过程平和，所以没有对民生经济造成破坏，从此整个长江水域完全畅通，有助工商农业的发展，朝廷也逐渐稳定下来，政令通达，赋税充足。
岳家军除了加入荆湖南路安抚司统制任士安、郝晸、王俊、统领焦元等部约一万多人之外，再加上江南西路安抚司统制祁超、统领高道等部约八千五百多人，后续又增拨统领丘贇所部的一千五百人；还有将原来担任张浚都督府左军统制的杜湛改任为岳飞统辖的黄州武将知州，所带来的几千蔡州兵。杨幺军的壮丁五万人也大都编入岳家军，因此岳飞麾下人马总计大概达到了十万人。
北伐之前，岳家军的编制，大致是十位将领，每人带领三千馀人，总数不过三万多人；歷经北伐与剿灭杨么两次大战，人马一路迅速扩充，至今大约膨胀了三倍，也就是扩增至三十位将领，每人旗下人马还是维持三千馀人，总人数约十万人。在此之后总人数只有微调，不再出现大幅变动。
整个岳家军分为前军、中军、后军、左军、右军、背蒐军、踏白军、游奕军、选锋军、胜捷军、选锋军、水军等十二军，每军各设置统制一至三名。
其中的背蒐军是岳家军最精锐的部队，也是韩世忠与岳飞军中特有的编制。韩世忠与岳飞在军中发掘特别勇建者，让他们担任亲随，称为背蒐军。一进入背蒐军，其他各军除了统制之外，人人见到他们都要对他行礼，而且犒赏特别多，所以战斗力特别强；若碰到强敌，只要派出背蒐军就必胜无疑。
岳飞的背蒐军由他的长子岳云带领。岳云从小力气就很大，特别喜欢重兵器，所以便送他到霹靂火秦明那里学艺，学成之后还带了三位师兄弟一起回来。
四个人的武器正好都是锤，分别是岳云的擂鼓瓮金锤、何元庆的梅花亮银锤、傅天亮的倭瓜青铜锤与狄雷的鑌铁压油锤，背蒐军的兄弟们将他们四个合称为「金银铜铁四大锤」。
南宋成立未满十年，武将出身的将领，除了吴玠吴璘兄弟独守川陕，与大家没有利益衝突之外，大致以刘光世、韩世忠、张俊等三人掌握了最高的军权；他们互不相服，一直勾心斗角，猜忌记仇，有时甚至需要高宗或宰相介入安抚协调，否则说不定早就酿成武装衝突了。
而且他们三人的想法都一样，一方面想避开湖南杨么这个烫手山芋，一方面想跟皇帝亲近一点，所以都把驻地尽量往长江下游移动。大家挤在一个小空间里，衝突当然更容易发生。不过三人心里都有数，万一有两个人闹翻一定是两败俱伤，岂不是便宜了第三人？因此大都会互相收敛，维持着恐怖的平衡。
想不到岳飞连续打了几个重大的胜仗，不但解决了大家的烫手山芋杨么，居然连金人南侵都不敢捋其虎鬚。因此他职位虽然还没与三大将平起平坐，但是在声名方面却一再升腾，比起三位前辈甚至有过之而无不及。
韩世忠知道岳飞与高宗的关係，也大致意会到高宗是刻意栽培岳飞，而且他本身也受过水滸的恩惠，所以一向把岳飞当成子侄辈看待，对于岳飞的成功基本上是乐见其成。
刘光世从头到尾都集中精神在经营淮西军，跟岳飞几乎没有任何的利益纠葛与关连。
只有张俊，他回想六年前苗刘兵变时岳飞人都不知道在哪里，又想到两三年前岳飞只不过是他手下一个统制，还整天被他指挥着到处去东征西讨，实在很难接受他如今居然也是拥有十万人马的大将这个事实。
岳飞当然也感受到「人怕出名猪怕肥」的压力，所以在平定湖南起义军之后，从眾多战利品中拣选了两条车船，附带着船上原有的作战人员和攻守用具，分别赠送给韩世忠和张俊。韩世忠收到之后，感到十分高兴；张俊却认为岳飞是故意跟他炫耀战功，心中反而更增添仇怨之情。
绍兴五年十二月，南宋朝廷再度进行全国范围的军队整编，分为「三衙军」和五大部「行营护军」。
「三衙军」跟以前的「禁卫军」差不多，就是负责护卫皇宫的部队；由殿前司、马军司、步军司所辖部队组成。三衙军是新组建的单位，除了杨沂中统率的殿前司是由原来的神武中军改编而成，兵力较强之外，由解潜统率的马军司部队只有两千骑兵，与顏渐统率的步军司部队，战斗力都不太好。
五大部「行营护军」，张俊所部为「行营中护军」，韩世忠所部为「行营前护军」，岳飞所部为「行营后护军」，刘光世所部为「行营左护军」，吴玠所部为「行营右护军」。五大部之外又将王彦的「八字军」编为「行营前护副军」。
行营护军是南宋的基本军事力量，与上次整编为神武军最大的不同，就是岳飞与吴玠的加入；而他们两人在军队中歷练虽然较少，但都拥有赫赫战功，人数较少，却以战斗力见长。
各军的防区划分如下：张俊驻屯建康，韩世忠驻屯承、楚二州，刘光世驻屯太平州，共同担任着长江中、下游和淮水流域的防务；王彦驻屯荆南，岳飞驻屯鄂州，共同担任着长江中、上游的防务；吴玠则扼守着四川以至陜、甘的部分地区。
参知政事李邴对高宗说：「陛下即位之初，以韩世忠、刘光世、张俊等三位大将最具威名，如今终于又有吴玠、岳飞等两位年轻将领崭露头角了。」
一语道尽此时南宋军事力量的分布状况。
在五大部「行营护军」之中，岳飞的「行营后护军」的名声最响亮，也最受到人民的爱戴。所以中原以及两河的豪侠忠义之士，凡是想要効忠于南宋朝廷的人，都把驻屯在鄂州的岳家军营作为他们投奔的目的地。
自从金人铁骑攻破太原，占据河东的大部分地区之后，当地有一些忠义人士，如梁兴、赵云、李进等人便在太原、絳州一带组织了民兵，称为「忠义社」；先后收復过怀州、泽州、隆德、平阳等城。后来转战到河北境内，八九年内，和金人打过几百次仗，先后杀死敌方大小头目三百多人。两河地区的民眾对这些豪侠人物都很支持，也愿意尽量帮助他们。
赵云屡次狙击金兵获胜，金国感到十分头疼，曾经以平阳府路副总管的军职向他诱降，被他断然拒绝。金人进一步杀掉他的父亲，又把他母亲关进监牢来胁迫他，他仍然没有降服。绍兴四年的十一月，赵云也投奔到岳飞军营中来。
梁兴抗金的力量与名声更胜赵云，一般民眾都亲热地称他为梁小哥。绍兴五年冬，由于挺不住金人铁骑的扫荡，梁兴和另外几名忠义社首领率领了上百名驍勇骑士，直奔鄂州的岳家军营而来。岳飞喜出望外，亲自出营迎接，还马上差遣马成去报告高宗。
高宗获知之后也很高兴，跟身边的参知政事沉与求说道：
「梁兴这些人专程来投靠朝廷，一定要从优赐与官职与奖赏，才能鼓励更多的人前来。我们派往敌方的间谍获得的情报大都真假参半，很难判断；只有这些忠义之士来归，从他们口中才能够完全了解敌方的真实情况。」