由原来的六个镇台（明治时期的战略单位）之一的广岛镇台改编成为第五师团（广岛师团）是1888年春天。当初是由步兵第11、12、21、22，这四个联队组成的。最后确定了由步兵第11联队（广岛），第21联队（滨田），第41联队（福山），第42联队（山口）组成步兵旅团的基干。其中士兵都来自日本本州西部中国地区的广岛、岛根、山口的子弟兵部队。
1894年7月甲午战争（日方称之为：日清战争）爆发。为此，从第五师团抽调了两个步兵联队，以此为基础组成了大岛混成旅团（旅团长：大岛义昌少将），改编之后立即奔赴了朝鲜半岛。1894年7月27日，在朝鲜的汉城南面约100公里处名叫成欢的地方与清朝的淮军打了个遭遇战，战时持续了整整一天，清军溃败退入牙山。这场战役被日本人高度重视，因为是日本现代陆军创立以来首次与外国的陆军对阵，而且运用了现代化的战术，就是在世界作战史上也是值得记录的一笔。之后，大岛混成旅团攻陷平壤，参加了鸭绿江渡河战役、牛庄战役等等。
十年后的日俄战争，第五师团参加了辽阳、沙河、奉天会战。日俄战争之后被命令在满洲驻屯，直到1911年。1919年到1920年出兵西伯利亚。
1937年，七七事变爆发后，第五师团立即被调入中国华北地区。沿着长城内侧展开攻势，参加了察哈尔作战，太原会战等等。1938年，参加了徐州会战，在台儿庄遭到国军痛击。之后被调入华南，攻陷广东周边地区。1939年参与昆仑关战役后不久又被调回华北。1940年9月转调在法属印度支那（现在的越南）驻屯。
1941年太平洋战争爆发。第五师团被配属给山下奉文中将的第25军，参加进攻马来西亚、新加坡的战斗。1941年12月8在师团主力在泰国领地的辛格拉，而由步兵第42连队为基干而组成的安藤支队在帕塔尼一举登陆。这两支部队沿着马来半岛的西海岸南下，合围并攻陷了吉隆坡。1942年2月25日，在新加坡的英军投降，英国在远东最大的军事据点：新加坡沦陷了。
马来西亚、新加坡战役之后，以第41步兵连队为基干组成了东支队。这支部队的预定任务是在菲律宾各岛执行扫荡，但是没过多久就被编入第17军（军指挥官：百武晴吉中将）。之后被派遣去参加莫尔兹比港攻坚战。而莫尔兹比港攻坚战的惨败，让这支队伍回到平壤参加补给新兵，被编入重建的第30师团。
师团主力在第8方面军今村均大将的指挥下，转战于巴布亚新几内亚。在现在印尼的塞兰岛1945年8月15日迎来了投降的那一天。接到天皇宣布无条件投降的电报，师团长山田清一悲愤地切腹自尽。
