消息传到中国军队，“大阪的日本兵不会打仗”的说法就流传开来。每次战斗，中国军队一听对手是“大阪师团”，往往士气大增，抢着和第四师团交战。（点评：挑软的捏从来都是放之四海皆准的真理。）刚到前线的第四师团猝不及防，接连吃了几个窝囊的败仗，甚至牵连了友军，以至于友邻部队向十一军司令部抱怨：“有第四师团参战，本来能打赢的仗，也会打输，因为敌军士气大振……” 自此，日军第十一军指挥官只好让第四师团专心在后方“待机”了。曾有一次，第十一军司令官阿南惟几不信邪，派第四师团在第二次“长沙会战”中打主攻，结果第四师团一进长沙就被赶了出来，全线溃败。守长沙的国民党军队是薛岳所部精锐，也只有阿南惟几这种“榆木脑袋”才会用第四师团当主攻。 鉴于“长沙会战”中的表现，第四师团成了日军的“丧门星”，哪个军都不要它，大本营只好将其改为直辖部队。
这下第四师团的兵有的吹了：“老子当兵就在甲种师团，开战时属于关东军——精锐，仗打起来在十一军——还是精锐，最后十一军装不下我们了，只好改大本营直辖……”
保命第一
“保命第一”为时髦道别语，阴差阳错建功立业 第四师团虽说窝囊，但毕竟是甲种师团，老兵多。由于日军作战损失很大，急需补充老兵，便不时抽调第四师团官兵补充到其他师团。 当时，日军各部的临别致词都有自己的特色，比如第二师团，战况较好时就说“武运长久”；情况不妙时就说“九段坂见”（靖国神社在东京九段坂）。然而第四师团的官兵告别时，却常说“御身大切”，翻译过来，即“保重贵体”、“身体最重要”，或者干脆就是“保命第一”。
日军在进攻衡阳和芷江时遇到中国军队的顽强抵抗。战斗一开始，来自第四师团的老兵又故伎重演，从军官、士官到老兵纷纷入院，消极但合理地拒绝作战。当负伤的日军士兵到医院的时候，那些“养病”的第四师团“前辈”们还要问：“你为什么要这样玩命啊？”当被问到自己为何不愿意参战时，这些“病号”却豪气冲天地说：“听说这次出击我们是担任佯攻的，这很没有意思，如果是主攻么，自然是要好好打一仗喽。” 拿破仑曾说过：“世上本没有废物，只是放错了地方。
”第四军团就是一个很好的注解。由第四师团预备役官兵组成的独立第十五工兵联队，由横山大佐率领，就在马来半岛立下功勋。 伊藤正德《帝国陆军的最后》中，提到这个联队在修复盟军炸毁的桥梁涵洞方面作用极大，“大阪兵无能只是误传，至少以这个联队而言，其献身精神使军部、师团部的高级军官都乘夜前去表达感谢和敬佩，其无我奉公精神极其令人钦佩……”有评：看来，这个联队的确干得不坏，不过，说到底，修桥补路这种活儿，和上阵打仗终究还不是一码事儿。 太平洋战争爆发，日军各部都投入到对盟军的作战中，第四师团也终于有了建功立业的机会。大本营有意将该师团配属南方军，但南方军只是很勉强的将其列入预备队，仍然驻扎上海。
