他进军来到平原县，准备打进高鸡泊里，窦建德对高士达说：“数遍隋朝的所有将领，会打仗的只有杨义臣。他刚刚打败张金称，长途跋涉进攻我们，他们的锐气是不可抵挡的，请让我带着军队避开他们，使他们想打又打不到，白白地拖他几个月，等他的将士们疲劳厌倦了，乘机打他个猝不及防。可以夺取大的胜利。如果眼下跟他争高低，只怕您抵挡不住。”
高士达不听他的意见，便留下窦建德守卫大本营，自己率领精兵迎战杨义臣。初战取得小小的胜利，高士达就纵情喝酒大摆筵席，产生了轻敌思想。窦建德得知后说：“东海公还没有打败敌人就自高自大，灾祸过不几天就会来了。隋朝的军队乘胜追击，必然径直打到这里，人心震惊恐惧，我怕守不住了。”
于是留下人马守卫军营，自己带领精兵强将一千多人占据险要位置，以防高士达吃败仗。
过了五天，杨义臣果然大败高士达，在战场上斩杀了他，乘胜追击，就要围攻窦建德。军营的守兵本来就少，听说高士达已被打败，大家都四散逃跑了。
窦建德带着一千多人逃走，到了饶阳县，见这里没有防备，就打下了饶阳县城，安抚城里的士民百姓，很多人愿意跟随他，又有了三千多人马。
杨义臣发现窦建德的势力有发展了起来，就向隋炀帝建议，说地方上苛捐杂税猛于虎，弄得百姓民不聊生；起义军更是层出不清，剿不胜剿。希望陛下减轻赋税百姓一定会安居乐业，天下也就能太平。
这番话传到了宇文化及和虞世基两个佞臣的耳中；他们就造谣说：“杨义臣这是向皇上要兵要粮。我们听说他抓住那些义军，就有把他们放了；那些贼人感念杨义臣的不杀之恩，纷纷投效。现在他手下已经有了20万大军，这是要分疆裂土，有不臣之心。”
杨广现在最怕的就是手下人叛变，他赶紧一道圣旨让杨义臣遣散部众，并将其从河北调了回来，让他回洛阳任光禄大夫，礼部尚书，并且带人驻守洛阳的门户东岭关。
杨义臣接到圣旨悲愤忧虑，但不敢不从，不过他没有将部队遣散，而是交给了手下大将杨思恩，让他继续剿灭窦建德。
临行之时杨义臣再三嘱咐，窦建德诡计多端，请杨思恩千万不能大意。杨思恩点头应允。
可是杨思恩等人都认为杀掉高士达后，打败窦建德没有问题。窦建德却乘其不备返回平原县，收拾跟随高士达战死者的遗体，将其都掩埋好，还为高士达举行葬礼，全军穿起白色的丧服。又招集逃散的士卒，得到几千人，军队又振奋起来，窦建德开始自称将军。
匪徒们捉到隋朝的官吏和当地士绅一般会全都杀掉，惟独窦建德捉到他们，一定以礼相待。
最初得到饶阳县的长官宋正本，被当作某主，跟他商讨大计方针。此后隋朝郡县的长官逐渐地献城投降他，窦建德军队气势更加兴旺，精兵强将发展到十多万人。