日本自明治维新以后逐步发展成为帝国主义国家，出于强化国家机器，对外发动扩张的需要，在其科学技术和军火工业逐步发展的基础上，建立了一支比较强大的现代化陆军。
1884年，日本在旧式陆军的基础上首次组建了６个正规陆军师团，即第一至第六师团。甲午战争以后，日本有组建了６个正规陆军师团，即第七至第十二师团。１９０７年，日本在日俄战争后再次扩充了６个陆军师团，即第十三至第十八师团。１９１５年，日本在其侵占的朝鲜组建了第十九和第二十师团。这样，加上守卫东京地区的近卫师团及４个驻扎在各地的混成旅团，就构成了日本帝国主义陆军主力的基本框架。
　在不断的对外侵略扩张中，日本开始在别国及其控制的地区驻扎军队。１８９５年后在中国台湾省组建日本台湾军；１９０１年后在中国京津地区驻扎华北驻屯军；１９１５年在朝鲜组建日本朝鲜军；１９１９年在中国的东北组建日本关东军。这些军队在当时被称为日本在海外的“四大兵团”。他们有些有日本正规主力师团固定担任，如日本朝鲜军即由十九和二十师团组成；有些是由主力师团轮流担任，如关东军；有些则由混成旅团和其他部队担任，如日本台湾军和华北驻屯军。１９２５年后，日本在国际裁军的压力下，同时为了节省军费用于限制现代化装备，也曾裁减了十三、十五、十七、十八四个师团。
　日本在组建现代化陆军的过程中，初期曾经崇拜学习法国的军事理论和体制，后来基本上改为学习德国的军事理论和体制，并且学习西方先进的制度建立了地区义务兵役和军事预备役制度。这样一来使的日军的每个师团平时驻扎的地区就是起征兵机构的师团管理区，也是其征集补充兵源的地区，其全部士兵和中下级别的军官都回来自这一地区。所以，在日军的历史上曾经出现祖孙数代人在不同历史时期的同一部队服役并参加历次战争的情况。同时，日军师团也常用驻地来表示，如，第一师团，因其长期驻扎在东京，故又称为东京师团。依此类推，第二师团有称为仙台师团。第三师团又称为名古屋师团，第四师团又称为大阪师团，第五师团又称为广岛师团，第六师团又称为熊本师团，第七师团又称为旭川师团，第八师团又称为弘前师团，第九师团又称为金泽师团，第十师团又称为姬路师团等等。
　日本陆军当时的军衔共计六等十六级，即大将、中将、少将、大佐、中佐、少佐、大尉、中尉、少尉、准尉、曹长、军曹、伍长、上等兵、一等兵、二等兵。佐为校官，曹是士官，伍长是下士。日本陆军也有元帅军衔，规定由天皇从战功显赫的大将中选任，，自明治维新到日本投降，共计十七位大将被授予元帅军衔。在日本陆军中，军司令官常由大将或中将担任，师团长多由中奖担任，旅团长多是少将，联队长多是大佐或中佐，大队长多是少佐或大尉，中队长多是中尉，小队长多是少尉。
不按照日本１８８９年的宪法，日本天皇是国家元首，为日本海陆军最高统帅，可以指挥全国的军队。但实际上二十世纪以后日本军部的势力强大，形成了军人左右国家政策的局面。在军方最有实际权利的是陆军“三总长”的陆军大臣、参谋总长、训练总监。陆军大臣是陆军省的首脑，主管政府的国防政策、部队调动、国防预算、武器研制等，对有关军政问题可以与总理大臣后参谋总长并列上报天皇，也可以单独上报。参谋总长是日军参谋本部的首脑，其主要职责是辅佐天皇指挥军队，并且代表天皇下达作战命令。训练总长则控制日本陆军全部初、中级军校。所以“三总长”的倾向常常决定了日本军方的政策方向。即如果军方对哪一届政府不满，就可以不派出现役的中将或者大将担任陆军大臣，使内阁无法产生甚至倒台，从而日本军方就可以控制国家政策的方向。