如此明显的不作为，引起了日本特务机关长细木繁的怀疑。
27日上午9时左右，日军派飞机12架对旧城南门外保安队营地进行轰炸，保安队共有10余人伤亡。据日本方面的说法，这只是误炸，但是这话谁信！很明显就是给点颜色瞧瞧的做法，明眼人谁都明白。这支刚刚被收编的伪军，其中有不少人土匪出身，那受得了这个气！
保安队第一总队队长张庆余立即把第二总队队长张砚田及教导总队沈维干找来密谈：“城南的战斗和日机轰炸教导总队营地，已经激起保安队官兵的义愤，我们怎么办”张庆余首先征求二人的意见。沈维干说：“不是鱼死就是网破。依我看，现在就可以动手。”张砚田有些顾虑：“我们的行动已经暴露了，日本人已有了准备，动手以后再同29军接应不上，全军就要覆没。”沈维干对形势又进行了分析：“现在官兵的抗日义愤实难抑制，与其抑制，不如顺水推舟就此起义。”张庆余说：“先观察一下日本人的动态再定，你们看怎样。”这个会议开过之后，基本上战略就定下来了。
28日下午，张庆余在“自强社”门口遇上了细木繁。
细木繁质问道：“张队长你怎么槁的，为什么没有把29军截住？”
张庆余说：“我保安队是维持治安的，不是打仗的，我管不着！”
细木繁一听这个，急着说“我撤了你！”
张则说：“我是中国人任命的，你细木繁算个什么东西”
言语间，两人都拔出了手枪，直到有人上来阻拦劝解，两人才不欢而散。如此硬骨气的伪军，日军怕是很少见到。
事后张庆余，张砚田、沈维干秘密集合，商量后认为不能坐以待毙，应尽快采取行动。于是，决定当晚就起义，兵分三路同时行动。
当晚午夜刚到，城中便枪声四起。起义部队迅速占领了长官公署和其他重要机关。
一手策划卖过政府的大汉奸殷汝耕，吓的藏在了柜顶之上。当起义部队找到他是，殷汝耕吓得体似筛糠，不能动弹。几个士兵把他从柜顶上拽了下来，押到北关吕祖词指挥部关了起来。
