然而好景不长，李逍遥设下圈套诱使夏王窦建德中了埋伏，致使被活捉，而且大军全部都成为李唐大军的战力，白白为李唐做了嫁衣。而且，李逍遥双管齐下，暗中派侯君集等人率领瓦岗旧部出兵攻打河北，徐圆朗为了保存实力，再次投降大唐。
唐高祖李渊不计前嫌，仍封他为兖州总管、鲁郡公。同年七月，窦建德旧部刘黑闼等人在漳南起兵反唐；八月，徐圆朗扣留唐将盛彦师，割据兖州，起兵响应刘黑闼。不久，徐圆朗自称鲁王，并发兵围攻虞城，以此牵制唐军；唐将任瑰据城守之，双方临城对峙。武德六年正月十四日，徐圆朗攻陷泗州，与刘黑闼结盟，两人原是旧相识，又是窦建德麾下大将，因此非常的熟悉。
不仅仅徐圆朗对李逍遥及唐军恨之入骨，就连刘黑闼也是如此，他们两人经历相同的事情，这一切都拜李逍遥所赐。因此，他们两人同仇敌忾，同气连枝，想要与李唐大军一决雌雄，做最后的搏斗，而且高谈圣也加入进来，他们三人麾下大将的确与李唐大军的将领一较长短，甚至兵强马壮，不弱于唐军。
刘黑闼是贝州漳南县人，他年轻时狡诈蛮横，嗜酒好赌博，不治产业，家境贫困缺吃少穿，同乡窦建德时常给以资助。后来，农民起义军纷起，刘黑闼投奔郝孝德，啸居山林，后来李密击败郝孝德，他就归顺李密，成为偏将。
事有凑巧，偏偏刘黑闼归顺魏王李密不久，他就与徐圆朗遭受相同的命运。李逍遥率领大军攻破瓦岗寨，直接将李密斩首示众。恰逢此时，洛阳王王世充想要攻占瓦岗寨，趁此机会一举击败了刘黑闼率领的大军，被生擒活捉。
洛阳王王世充听闻刘黑闼勇猛强悍，决定将他收归己用，便让他担任骑将，守卫新乡。‘落花有意流水无情’，王世充鸠占鹊巢，直接将杨侗斩杀，夺取地位，使得刘黑闼打心底看不起王世充，不久之后，他就率部逃回河北，投奔好友夏王窦建德。
窦建德闻之大喜，亲自率领大军出城迎接儿时好友的到来，他知道刘黑闼的底细，虽然年轻时品行不端，不过后来的威名如雷贯耳，于是就任命刘黑闼为将军，封汉东郡公，并且命他率领大军东西袭击。而且，窦建德有了什么谋划，必然命令刘黑闼一个人负责侦察，他经常乘隙钻进敌方偷看虚实，有时出乎对方意料之外，每次都能瞅准时机快速地突袭，使得他出征必胜，战果丰硕，大军之中将刘黑闼称之为“神勇将军”。
当初，窦建德想要率领大军截杀李逍遥的部队，夺取传国玉玺时，就曾经将麾下大将全部召集在一起，众人之中唯有刘黑闼一人反对意见，他认为李逍遥此次必定有诈，奈何尉迟敬德先他一步得到窦建德的信任，在窦建德心目中的分量不亚于刘黑闼，在尉迟敬德怂恿之下，窦建德也深思熟虑之后，决定还是出兵截杀李逍遥，没想到刘黑闼真的猜中了，窦建德被李逍遥活捉的消息很快就传遍河北，窦建德被唐军所败，夏政权灭亡，刘黑闼心灰意冷，就弃官而逃，躲藏在漳南县老家，终日里闭门不出，种蔬菜自给。
窦建德被李逍遥押解进京，等待着唐高祖处置。在七月份，唐高祖下令将窦建德斩首，又强征窦建德旧将范愿、董康买、曹湛、高雅贤、王小胡等人到长安。范愿等人对唐高祖李渊斩杀窦建德一事，心生不满，于是决定起兵反唐，并且他们求神问卜，通过卜卦问得知奉姓刘的为主能够成事，就去找窦建德旧将刘雅。
刘雅见到范愿等人前来，惊讶不已，询问来由才知道他们的来意是想要让自己起事，不过刘雅以天下已平为由，直接了当地拒绝，不愿意再次起事；范愿等大声谩骂刘雅不义，就将他杀了离去。他们又找到刘黑闼，向刘黑闼陈述因由，并且将他们斩杀刘雅之事，一并相告。
刘黑闼听闻他们所言，知道他们实在威逼利诱自己，不过这也正中刘黑闼的下怀。实际上，刘黑闼终日闭门不出，郁郁寡欢，早就有想取代窦建德的野心，于是他与范愿等人一拍即合，决定与他们一起起兵反唐。
刘黑闼当场就将家中的牛羊全部斩杀，用来犒劳范愿等人，众人吃饱喝足后，刘黑闼一把火直接将旧宅子烧掉，于是他们一行人就决定招兵买马，找寻共同反唐之人。刘黑闼等人奋力招兵，只不过得到一百十几人，他却用这一百来人的兵力，一举袭破漳南县城；刘黑闼直接将县城的兵力全部收归己用，然后率领大军攻打贝州刺史戴元详、魏州刺史权威，直接将他们两人击败，还将他们两人的大军两千余人以及器全部收缴。
七月十九日，刘黑闼在贝州漳南设坛，祭奠窦建德，自称大将军，正式大举起兵；八月二十二日，刘黑闼攻陷历亭，屯卫将军王行敏战死；窦建德以前的旧部大将纷纷杀死唐朝官吏，响应起义。八月二十六日，深州人崔元逊杀其刺史裴晞，叛附于刘黑闼。与此同时，唐兖州总管徐圆朗也起兵响应。
刘黑闼大军兵力迅速增加，并且与徐圆朗结盟，使得战斗力更胜猛进，就连罗艺等人都不敢与刘黑闼正面交锋。刘黑闼在兵力强盛之时，趁此机会，迅速地发动攻击，袭击大唐