台儿庄最初由第31师王冠五的一个加强团守备，王镇久部守备庄东，王祖献部（后胡金山代理）守备庄西，师长池峰城的师部在庄外火车站附近。此时大家并没有意识到这到底是一场怎样的战役。台儿庄需要守几天？打到什么程度？王冠五不知道，池峰城不知道，甚至孙连仲也不知道。
黄昏时分，日军进行了一阵炮击。转天清晨，进攻正式开始了。
一上来，日军攻势还是非常凌厉的，而且也颇见效果，半天下来，台儿庄外的前进阵地就被攻陷，一个小队的日军还顺势冲到台儿庄城下，从炮弹轰开的豁口处攻入庄东北角。虽然他们在第二个回合中被打了出来，但仍有15名日军残留城中。此时战斗虽然紧张，但还不算激烈。不算城里的15个人，日军打了一上午，伤亡只有132人，其中战死也就20个人。
台儿庄战打响的时候，3月24日，蒋介石带着副参谋总长白崇禧和新任侍从室主任林蔚直飞徐州。
随后蒋介石在李宗仁的陪同下，到车辐山火车站，视察了前线。他叫李宗仁不要担心部队的问题，杜聿明机械师第200师的3个战车营和1个师直属炮兵营都交给李宗仁调遣；更不用担心弹药的问题，军需部门会把弹药准备得足足的。
李宗仁还能说什么呢？只能说将拼尽全力打好这一仗，挽回淞沪和南京战后中国军队的颓势，给困境中的国人鼓把劲。
3月25日，在峄县的濑谷启给台儿庄前线的日军添加了两门野战重炮。在兖州的矶谷廉介告诉濑谷启，要求他在台儿庄采取“果敢的攻势”。濑谷遂命令第63联队长福荣真平大佐亲自带一个大队去增援台儿庄。太平洋战争爆发后转战东南亚最终在新加坡被处死的福荣真平，此时还不知道，他的“成名战”正式开始了。
虽然台儿庄内的15名日军还在顽抗中，但庄外的进攻一时减弱下来。这好像是激战前的短暂宁静。为防不测，池峰城把在城外的禹功魁的一个营调进庄里。
果然，从3月27日开始，战斗一下猛烈起来。日军从凌晨5点就发起袭击。3个多小时后，福荣真平率领的一个大队赶到了。日军援军到后，又有两个中队冲进庄内，一部盘踞西北角，与东北角的日军遥相呼应；另一部直扑位于庄内正中的大庙。
大庙是庄内的显著建筑物。
守军第8连连长裴克先急了，率全连士兵逆袭，与日军展开肉搏。在搏杀了大量日军后，裴克先全连战士殉国。
日军仍控制着大庙，以此为基地，像章鱼的触须一样，开始向左右和正前伸去。
庄外师指挥部里气氛异常紧张。显然不能坐视庄内日军如毒瘤一样越来越大。但池峰城苦于手里机动部队寥寥。副师长屈伸建议把城外的工兵营顶上去。就在这时候，接到团长王冠五的电话，说：“鬼子正在亡命突击，已潜进离我团部十五六米远的房子里！”
