一家的那个天师的徒弟，当即便要找王薄报仇。幸好孟让在其中转圜，杜伏威才勉强压过此事。不过之后他和王薄关系不睦，双方几次发生争斗。后来杜伏威失利，便选择退出长白山地区，转道南下江淮。
与王薄争斗的失败，让杜伏威意识到自己的小部队实力太弱，如果不尽快壮大就根本无法生存，于是他努力寻找机会去联合和吞并附近的其他起义军，实力一天天扩大。
杜伏威的部队一路南下，先是吞并了位于下邳郡的苗海潮。
苗海潮是下邳的土豪，眼看乱世将至，遂结寨自保，并无太大的野心。
杜伏威于是驱兵至苗海潮的坞堡外，派辅公祏对他们劝降道：“今我与君同苦隋政，各举大义，力分势弱，常恐被擒，若合为一，则足以敌隋矣。君能为主，吾当敬从，自揆不堪，宜来听命；不则一战，以决雌雄。”
苗海潮就是一个乡土豪杰，所求不过为自保，根本没见过杜伏威这种土匪行径。他自知自己没有称王称霸的野心和能力，心中又畏惧杜伏威的兵势，便率领他的同伙归附了杜伏威。
杜伏威带着部队沿着邗沟和淮水劫掠，很快遇上了在这一带发展的赵破阵。
赵破阵是海陵人，也是大业八年新崛起的造反势力。不得不说，杨玄感一反，直接引来了天下第二波造反浪潮，整个天下的造反或者是半造反势力是多如牛毛。
赵破阵在海陵起兵，很快被江都的驻军击败。兵败的赵破阵逃到山阳、涟水一带，以涟水为核心继续发展势力。
杜伏威的南下，严重侵犯了赵破阵的利益。
当时杜伏威手上兵少，而且年幼，赵破阵便对其无比的轻视，甚至派遣使者召唤他，要求和他合并兵力。
杜伏威麾下诸将感到受到羞辱，纷纷恼怒，要与赵破阵决一死战。
这时杜伏威心知实力不如对方，不能硬拼，便安抚诸军，又命令辅公祏整肃军队，屯驻于赵营外以防事态变化，他本人亲自带领十个将士带着牛肉和酒进去拜见赵破阵，做主了后辈的姿态。
赵破阵见杜伏威果然来降，心中大喜。况且在自己大营之中，他更是无所畏惧，便拉着杜伏威进入营帐内，把所有的头目召集到一块，举行盛大宴会并尽情痛饮。
双方喝得正酣，赵军一众将领几乎人人是酩酊大醉。
杜伏威给赵破阵说着恭维的话语，让赵破阵喜不自禁。
赵破阵已经喝醉了，趴在桌子上，这时杜伏威突然当场发难，从怀里掏出一柄匕首，捅死了赵破阵。
其余诸人也纷纷动手，将赵破阵军中的头目纷纷诛杀。
赵破阵军大乱，辅公祏也率部突然杀入。赵破阵军中无主，在杜伏威的劝降之下，纷纷投降了杜伏威。
兼并了赵破阵之后，杜伏威终于成了江淮一位举足轻重的人物，也开始了从土匪向割据势力的转变。