邢仁甫出生在一个封建地主家庭。父亲是个青红帮头子，没什么文化，脾气还暴躁易怒。在这样的家庭环境之下，邢仁甫的同年可想而知，中学毕业后他到北平参军，由于他勤奋好学，善于动脑，竟然混到了参谋职务，随后又做了副官。但因为国民党军中的黑暗状况，他弃军回到了家乡，加入了当地中国共产党。

1937年"七·七事变"后，中共中央发出了实行全民族抗战的紧急呼吁，津南、鲁北各地共产党人积极响应，纷纷组建抗日武装。邢仁甫也参加了抗日武装，因为他以前在国军中领过兵，所以懂得些战术战略，被任命为冀鲁军区的司令员。

邢仁甫为使部队合法化，利于统一抗战，建立三十一支队，并带着三十一支队连战连捷，所向披靡，在短短的时间里，从日伪手里夺回了大片国土，从此名声大振。能打仗的邢仁甫赢得了边区人民的信赖和拥护，各地青年纷纷报名参军，边区内一些难以自立的武装也纷纷要求接受改编，加入三十一支队。于是，三十一支队得到了迅速发展和壮大。