绍兴六年九月，刘光世因为怯战勾结赵鼑欺骗朝廷，将军队从庐州前线撤退到长江沿岸的当涂，若不是张浚明察秋毫，即时出面力挽狂澜，差一点就把淮右一带断送给偽齐，甚至威胁到朝廷的安危。
这个事件受到朝野人士越来越严厉的指责，首当其衝的赵鼑、折彦直等人都被逼相继离开朝廷，出任地方官去了。至于当事人刘光世，大家都说他临阵退缩，几乎酿成大祸，后来虽然还是打了胜仗，似乎可以补过，但是这种心态却绝对不适合继续担任大将，掌握重兵。
有一批专门喜欢落井下石的人，纷纷说他的军队一向军纪很差，将校士兵都蛮横不讲理，不容易指挥节制。身负全国最高军事统帅「都督诸路军马」的张浚，自淮西归来之后，也说刘光世沉溺酒色，不关心国事，所以必须马上解除他的兵权，藉以警惕其他的将领。
在这层层声浪的压力下，高宗当然也很想罢黜刘光世，只是接替的人选还未决定。所以他命三省枢密院一再以《省札》传达旨意，要岳飞前来行在所奏事，表示岳飞至少应该是他考虑中最合适的人选之一。
岳飞一直到绍兴七年三月才在建康晋见高宗。这次见面地点还是在御书房。
高宗正在书房练习书法，当了皇帝之后他就不再练武，所以除了女人之外，这就是他最大的兴趣；除非像逃难时不得已，否则他每天都要练练字。
行过君臣拜见之礼后，高宗让岳飞看他所写的，原来只是「李马泥马」四个字而已。
「朕一生中最自豪的几件事，像是博闻强记、可挽强弓，结果都输给你；幸好还有一项书法胜过你，聊表欣慰。」高宗笑着说：「不过朕还有一项专长，很少让人知道；朕很会相马，好马坏马，只要让我听一听牠的马啼声，即使隔着一面墙看不到，朕也可以分辨出来。」
高宗又问岳飞：「对你们武将来说，一定要拥有一匹好马，打起仗来才能得心应手啊！是吗？」
岳飞说：「臣曾有两匹马，很难伺候，每天要吃几斗的饲料，喝十斗的泉水，而且必须挑精美乾净的才吃；若是披上鞍辔奔跑，起初没有很快，等跑了一百里才开始快速奔跑，从中午到黄昏，还可以再跑二百里，卸下鞍辔之后，不喘气也不流汗，好像没事的样子。不幸这两匹马接续死了。我现在所骑的马就简单多了，每天吃的不多也不挑食，喝水从不选择泉水，繮绳还没拉好，就跳起来急速奔跑，才跑一百里，就用尽了力气而流汗喘气，几乎快要死的样子。」
高宗点了点头说：「你现在所骑的就是标准的劣马，牠好驾驭，又吃得少，容易满足，跃跃欲试爱表现，可是很容易力气衰尽无法持久，偏偏一般人却喜欢这种才能低下的劣马。至于你以前那两匹，表面上看起来爆烈难驯，不好驾驭，而且十分挑食很难满足，可是只要让牠顺服就是一匹持久耐劳的好马啊。」
「皇上是在教臣下如何用人吧。」岳飞笑着说：「臣岳飞瑾受教诲。」
「彼此彼此，朕也正在慢慢琢磨体会。」君臣两人相视一眼，不约而同哈哈大笑。
笑了一阵子之后，高宗问岳飞说：「说正经的，你对朕的一切都清楚不过，你认为朕这个皇帝当得如何？」
「当年你一个刚满二十岁的小伙子，突然遭逢国破家亡，整个天下大任全部落到你的肩上。你只能号召四散的文臣武将来维持国家的运作，刚开始几年还要不断逃避金人的追杀；经过十年拥有这个局面，我打从心里佩服你，我以你这个朋友的成就为荣。」
岳飞慢慢地说，前尘往事一幕幕迅速地掠过高宗眼前，累积多年的心酸霎时笼罩了他的心头，眼泪不禁夺眶而出。
「所以你绝对有资格说，如果没有岳飞，没有李马，就没有今天的朕；但是我也可以说，如果没有朕，就没有今天的岳飞──至少没有今天的岳太尉。」
高宗招了招手，韩诚就不知从哪里搬来一大叠帐册，随意抽取一本翻开，上面记录着某年某月某日，发给岳家军军器、粮草、军费、布匹等各若干细目等等。
「皇上说你岳家军属于指标性部队，又打着绝对不抢掠扰民的口号，所以将你的后勤补给特别交给我最优先办理，就算其他单位都缺粮，独独不准缺你的粮。所以只要碰到短缺时期，你都不知道我置办得多么辛苦？尤其这几年你人数快速增加到超过十万，不管是鄂州还是襄阳府都在上游，东西备齐还需筹船隻逆流而上，所以有时候稍慢一点还请多多包涵。」
岳飞对于补给不足只好放弃北伐之事，本来想大发一顿牢骚，这时也只好忍住，依例叩头谢恩。
临别之前，高宗突然冒出一句话说：
「刘光世掌管的二十万淮西军，朕想把他收回来，只是还没决定交给谁，如果交给你，你觉得如何？你先研究一下，以后再作决定。」
刘光世自己知道待不下去，便向朝廷送上奏章，自请解除淮西军兵权。高宗收到奏章之后，跟左右的人说道：
「刘光世对于军队的训练，远远不如韩世忠、张俊等人，更别说与岳飞相比了。他这支部队的素质，本来是全国数一数二的精锐之师，极为驍勇善战，可惜主将过于怠惰，每个月耗费了那样多的银钱米粮全是民脂民膏，却由于缺乏训练、无法奋战建功，实在太可惜了!总之，将帅绝对不可骄惰，更不可沉迷酒色。」
三月十四日，岳飞收到两份公文。
第一份是诸路军事都督府张浚发来的，其中依次列举了淮西军所有将领的名字，以及各人帐下官兵与马匹的数量，希望岳飞看了之后隐密收藏，而且暂时不要跟属下说起这件事。」
第二份是，高宗写给淮西军的部将王德等人的一道《御札》，要他们在今后听受岳飞的节制，希望经由岳飞转交给王德等人。
从这些公文看来，高宗与张浚似乎已经商量好，要把刘光世所统领的人马全部併入岳家军。