第35军是解放军历史上寿命最短的军队之一，从1949年2月组建到1950年1月撤编只存在了一年。35军最初由吴化文的起义部队组成。吴化文部追根溯源为冯玉祥的西北军。首任军长也是末任军长是吴化文。
吴化文，一生四次叛变五易其主，他1904年出生于山东掖县，8岁随父母迁居安徽省蒙城，1920年离家出走，投西北军冯玉祥部当兵，升为排长、传令官。因为人乖巧机灵被冯玉祥器重，1923年，入北京教导团学习，继又被冯送进北洋军阀开办的陆军大学深造，毕业后回冯玉祥部任师参谋长。26岁背叛冯玉祥投靠韩复榘。1930年弃冯玉祥投奔韩复榘，先后任高级教导团团长、手枪旅旅长兼济南警备司令等职。
韩复榘被处决后，他是抗战中第一个被处决的高级将领，为何被杀，三种说法见仁见智，1938年1月，吴化文所在部队被蒋介石改编为独立二十八旅，他任旅长。鲁南台儿庄失守后，其部被改编为新四师，吴任师长兼山东保安第一师师长。抗战初期，率部先后在泰安、万德、虎门、柳河等地与日军作战。1939年，日军“五一大扫荡”，他率部在临朐与敌鏖战竟日，重创日军，受到八路军的赞扬。39岁投靠日伪当汉奸。1943年，他投靠汉奸汪精卫，晋见日军侵华总司令冈村宁次，被委任为日伪第三方面军总司令，协同日军进攻八路军。41岁时日寇投降，汉奸当不成了，他再次投靠蒋介石。出任第五路军司令兼津浦铁路南段司令，执行蒋介石“防止共军占据铁路交通”的命令。1945年至1948年脚踏两只船，只图保存实力。1945年10月其一部被人民解放军击溃。为摆脱困境，保存实力，他于1946年7月与中共联系，表示愿意站到人民方面。1947年3月，蒋介石对山东解放区发动重点进攻，吴化文又继续追随蒋介石，时任国民党整编八十四师师长。
1948年7月，被王耀武保荐为整编96军军长，防守济南西线。1948年8月，中国人民解放军包围济南，在外迫内促之下，他终于在 9月16日率2万名官兵战场起义。后改编为中国人民解放军第35军（下辖第103、第104、第105师），吴化文任军长，保持原有建制，为华东野战军直属部队。淮海战役初期，35军在后方整训，第三阶段时，粟裕下令35军南下参战，在宿县集结作预备队，未参加战斗。
