日军第12军主力于1944年5月2日开始向登封转进。根据方面军的意图，该军围歼汤恩伯第13军的作战指导大致为:“派第110师团由北方，第62师团由东方，包围歼灭第13军。再派战车第3师团和骑兵第4旅团主力由临汝及其以西地区，向大金店方向前进，以便歼灭敌军。此外，派战车师团部分兵力和第37师团主力确保临汝至长埠街道路附近要冲，尽力围歼向南撤退的重庆军。”
5月3日，日军战车第3师团已突抵郏县，汤恩伯急令第85军将登封防务移交刚到的第9军，迅速增援临汝，协同47师守备城防。与此同时，守军第***亦令第17师一部协同新35师向已拥入至方家岭附近的日第110师团进攻。但在守军部署尚未就绪之际，日军第110师团已于5月4日突进至登封西北约16公里的圣水附近，切断了登封与偃师的交通线。第4集团军巩县以东阵地的侧背亦因之完全暴露。
日军战车第3师团在守军第85军到达临汝之前，已于5月4日拂晓占领临汝，守军第47师与第85军向临汝以南退走。日战车师团继续西进，当晚即进抵伊川以东附近渡河，切断了第31集团军的后方联络线。其机动步兵第3联队及战车第13联队一部，于当晚突进至洛阳南方的龙门附近，形势急转直下。至此，守军第9军与第13军已被日军分割，而第9军更陷于包围之中。
5月5日，第9军突围，向颍阳镇撤退，途中遭日军节节截击而溃散，损失重大。得悉颍阳一带已为日军占领，遂于6日夜退向嵩县东北收容整顿。与此同时，原在告成、白沙地区的第13军及暂16师及预11师亦于5日黄昏前突穿日军白沙以南的封锁线向临汝方向撤退，沿途亦遭日军战车部队的不断冲击，损失奇重，后在第85军掩护下，才得以穿越临汝以东封锁线南下，向半扎附近集结。
防守巩东、金沟至老饭沟一线的第4集团军在第9军和第13军等突围溃退后已形成孤立突出，旋奉命向洛阳西北地区转移，至5月8日亦退至陈凹附近。
至此，汜、登主阵地全部被日军占领。为了策应第12军作战，日“华北派遣军”令第1军派第69师团师团长率其第59旅团5个步兵大队及独立混成第3旅团3个大队于5月9日夜由垣曲渡黄河攻略渑池，以阻止第八战区东援;为加强进攻洛阳的进攻力量，还调防守北平的第63师团师团长率所属步兵第67旅团及3个独立步兵大队赶至郑州，并指挥独立第9旅团及第12野战补充队(称菊兵团或野副兵团)参加进攻洛阳的行动。
5月10日，“华北派遣军”下达命令:“第12军应以一部兵力歼灭临汝西南和嵩县方面的重庆军，同时以主力迅速向宜阳、新安方面挺进，进入洛阳西北方;第1军应迅速渡过黄河，向洛阳方面挺进;野副兵团应击溃洛阳以北的重庆军，向新安方面挺进;以上东、西、南互相呼应，围歼第一战区军，进而攻占洛阳;敌军退却时，应立即朝陕县或向洛宁方向急追。”