刘邦表面上对项羽毕恭毕敬，内心其实很不好受，谁让人家兵强马壮，挟怀王以令诸侯呢。刘邦到南郑后，形势出现了变化：一是其所率将士水土不服，思念老家；二是因项羽分封不均，齐国田荣起兵反叛；三是韩信终于被刘邦重用，他也主张向东用兵。公元前206年五月，刘邦、韩信暗度陈仓，占领关中，楚汉战争爆发。
最初的几年，汉军虽然也取得了一些胜利，但在主战场上一直处于劣势。项羽杀掉楚怀王后，刘邦率各路降服的诸侯攻打过项羽，不但没能取胜，相反，刘邦的父亲和妻子还在战乱中被项羽俘虏。为了打败项羽，刘邦不惜花重金派人潜入楚军实施反间计，迫使项羽最依赖的范增出走，但仍没能扭转局面。刘邦一直在吃败仗。形势真正出现转机，是在公元前203年十月，刘邦围攻成皋，守将曹咎坚守不出，刘邦采用激将法骂阵，曹咎中计大败，刘邦一举占领成皋。
闻讯后，项羽率众急忙赶来，楚汉二军在广武山形成对峙。广武，即今河南荥阳之北，有三皇山，上有东西二城，各在一山头，相距二百余步，中隔山涧，两边喊话可闻。对峙了几个月后，项羽因为粮草不继，后方不稳，有些撑不住了，为了逼迫刘邦投降，他以活煮刘邦的父亲刘太公相要挟，但刘邦毫无畏惧，巧妙化解，项羽只好作罢。
打又打不过，劝又劝不降，见刘邦软硬不吃，项羽无计可施，思考了一阵后，隔着山涧请求似的冲着刘邦喊：“天下匈匈数岁者，徒以吾两人耳，愿与汉王挑战决雌雄，毋徒苦天下之民父子为也”（《史记·项羽本纪》）。意思是说，如今天下混乱了好几年，都是因为你和我二人争斗，为了不让天下百姓白白受苦，我想跟汉王你单挑，以此决定胜负，胜了独霸天下，败了回家种地。
为了速战速决，项羽自恃武功盖世，竟不惜在两军阵前发飙，想一两招就将刘邦结果掉。项羽真是急眼了！试想，凭刘邦那两下子，哪是项羽的对手？面对带有嘲讽性质的挑衅，刘邦神色自若，笑着冲项羽说了八个字：“吾宁斗智，不能斗力”（《史记·项羽本纪》、《资治通鉴》）。意思是说，我只跟你斗智谋，决不跟你斗勇。言外之意，项羽你不是武功很高吗，我偏不跟你玩，憋死你，看你咋滴。
