早在战争爆发之前，德国装甲兵之父古德里安就提出一种自行反坦克炮的概念称为“坦克歼击车”（Panzerjager)，并认为这种武器在之后的战争中将大放异彩。但实际上德国人研发坦克歼击车进度非常缓慢，在1941年苏德战争爆发的时候，只有一款装备47毫米反坦克炮的一号坦克歼击车服役。
然而在巴巴罗萨战役遭遇的T-34和KV系列坦克给德军极大的震撼，而同年北非遭遇的玛蒂尔达坦克也给德军带来不少麻烦，由于Pak38这类50毫米炮装备太少，Pak40这种75毫米炮也极度缺乏，德国迫切需要一种能够抗衡盟军新型坦克的武器。
由此德国将他们大量缴获的苏联76.2毫米M1936反坦克炮改名为Pak36（r）并投入作战，取得良好效果。于是到1941年12月兵器6局便委任阿尔凯特公司制作一款可以搭载这一主炮的自行火炮。
阿尔凯特公司利用退出一线的“火烈鸟”二号喷火坦克的底盘为基础，迅速设计出第一款基于二号底盘的坦克歼击车，被称为7.62 cm PaK 36(r) auf Fgst. PzKpfw. II(F) (Sfl.)，并受到部队的一致好评，改装工作也异常顺利，在1942年末之前所有150辆二号喷火坦克都改造成了坦克歼击车，并于1943年完成剩下增购的60辆坦克歼击车的生产和改装。
希特勒于1943年11月将该车的代号命名为“黄鼠狼”，这个代号将会伴随该车一直到战争结束。