邱清泉考入黄埔二期,对蒋介石的训导耳濡目染。黄埔时期的蒋介石正值壮年,英气十足,使邱清泉更加觉得他的“命”在国军,蒋介石就是“贵人”。但是相貌平平、一脸愣气的邱清泉最初并没给“蒋校长”留下多好的印象。虽然共产党人多次向自幼家境贫寒的邱清泉伸出了橄榄枝,但是,邱清泉认为只有跟着蒋介石才有前途,就没与共产党擦出火花。
1934年5月,邱清泉果然时来运转,被派往德国柏林陆军大学深造。在德国,邱清泉有幸与古德里安等德国名将学习。1937年5月,邱清泉学成归国,在南京保卫战中,表现不凡。由于眼见日本人在南京的暴行,他对日军有着刻骨仇恨,只要和日军对垒就激动得像发疯一样,猛冲猛打。日军一听到“邱疯子”的名字,都颇为畏惧。
在1940年的昆仑关战役中,邱清泉果断奇袭日军,占领六塘,截断日军退路,为中国军队取得昆仑关大捷打下了伏笔。战后,国民政府授予邱清泉四等宝鼎勋章,调任5军副军长。后来,他又在滇西反攻中立下不少战功。
内战初期,邱清泉旗开得胜,多次击败解放军,他曾吹嘘:“解放军逢五(第5军)不战。”邱清泉被任命为第二兵团司令时,曾对校长言:“我与共匪拼命去!”谁料一语成谶。随着战事逐渐对国军不利,邱清泉迷信的毛病又犯了,还愈演愈烈。