除此之外，山田还是少数几个在关东军以及关内战场都担任过重要职务的指挥官。

日本发动全面侵华战争后，山田乙三就被调往中国，历任关东军第十二师团师团长、第3军司令官，在任期间， 他多次指挥日伪军和警察、宪兵、特务，疯狂镇压中国东北的抗日武装力量，大肆搜捕和屠杀革命干部和群众。

昭和13年12月，他因镇压东北人民抗日武装力量“有功”，接替畑俊六任中支那派遣军司令官，不过在任内没有任何表现。

昭和15年4月29日授予勋一等旭日大绶章，并晋升陆军大将。之后出任教育总监兼军事参议官兼防卫总司令官，这当教育总监长达五年。众所周知，教育总监与陆军大臣以及参谋总长被称为日本陆军的三巨头，而山田乙三是日本陆军历代教育总监中在任时间最长的。

他之所以能占据这一职位如此之久，主要是由于他对前首相东条的俯首帖耳。

东条虽是他的后辈，但在关东军时却是他上级。东条从关东军发迹当上陆军次官、陆军大臣直到最后组阁当首相，山田乙三因为甘做东条的傀儡也一直在教育总监这个位子上没动窝。

然而，现在东条下了台，山田的教育总监的位置也被复出的杉山元帅所取代，所以将他调往关东军担任司令官也有流放他的意思。

但不管怎么说，山田出任关东军司令官的事情已经成了定局。

1944年12月19日，山田乙三被任命为关东军司令官兼驻满特命全权大使。

而大本营给山田的任务是，提升关东军的战斗力，稳定满洲的局势，并进一步“开发”伪满资源，提供战争物资。

重任在肩的山田乙三没有在东京多待，在接到大本营的命令之后，他便收拾了一番行礼，直接乘专机飞抵新京，走马上任。

至此，关东军迎来了山田时代！

只不过相比于前几任的关东军司令官，山田可没有那么的风光，他将接手的是一个巨大的烂摊子。