“ 冬，受降卒三十馀万，男女百馀万口，收其精锐者，号为青州兵。”
——《三国志·魏书一·武帝纪第一》

青州兵的前身，有着一个家喻户晓的名字，曾经暴走在中华大地上，惹来了无数的争议。
这本是一群乌合之众，里面的成份很杂，有铁匠、木工、道士、和尚、无业游民、失业者、大混混、小混混，更多的是难以生存下去的农民，他们本属于一个大集体，名字叫做“黄巾军”，在官方公告的定性里，他们又被称作“黄巾贼”，后来也有人叫他们为“黄巾起义者。” 中平元年（公元184年），“大圣贤师”张角所领衔的黄巾军全国大暴走，虽然只是在一年之间，被东汉中央政府以高压强势手腕大力打压了下去，它所燃起的熊熊烈火却未因此而熄灭。被打散了的黄巾军，以流民的形式，继续蹦跶在东汉政府的管辖区域内。

中平五年（公元188年）青州黄巾军高举当年同辈们的旗帜再次闹腾起来，他们毫无目的的四处游走，为的也只是在乱世之中，找寻到一片可以生存的天地。初平三年（公元192年）四月，青州黄巾军攻入兖州，搏杀之中，兖州刺史刘岱阵亡。

群龙无首的兖州当地豪族，在陈宫、鲍信等人提议下，决定迎接曹操入兖州领兗州牧。曹操积极响应号召，进入兖州境内，与鲍信合军联手打击青州黄巾。

虽然只是黄巾军的主体残余，青州黄巾军颇为精悍，寿张东（今山东东平西南）一战，鲍信不敌，力尽而死。鉴于青州黄巾实力，曹操没有硬拼，连连设下伏兵，日夜不停作战，终将青州黄巾军击溃。
黄巾军退去，并没有让曹操松懈，率领着军队，他再次追击青州黄巾军，直接打到了济北地区。青州黄巾军再也扛不住了，主动投降，这一降就是三十多万军卒，若加上家里的老小，总共有百多万人口。

曹操对于这些人精简整顿，选择其中的精锐，组成一支部队，因他们的出身取名叫做“青州兵”。
这是曹操在汉末乱世之中赚取的第一桶金，也是后来驰骋天下的牢靠资本之一。所以，后来有历史学家说，曹操的真正强盛，也就是从这个时候开始的。

初平四年（公元193年），刚组建的青州兵有了展示实力的机会，他们面对的对手是袁术和陶谦。袁术与同父异母的哥哥袁绍不对付，拉了公孙瓒入伙，共同对付袁绍。公孙瓒安排了刘备、单经、陶谦等人，屯军重要地带，胁迫袁绍。同属袁绍一个阵营的曹操，当然也是属于打击范围之内。

年初，曹操率领青州兵打击袁术，神勇的曹操面前，袁术显然不在状态，连连败退。秋季，曹操再次出兵，攻打徐州，陶谦也是能耐有限，失去十多个城池不说，彭城一战，丧失了几万人马，陶谦只得坚守郯县，龟缩不出。
从具体表现来看，这一时期的青州兵，正如曹操蓬勃发展的事业般处以上升势头之中，以后的前途还是大有作为。

兴平元年（公元194年），为缓和气氛，陶谦派了人护送曹操老爹曹嵩前往兖州，没想到路上出了差子，陶谦部将张闿见财起意，杀死曹嵩，乘机开溜。曹操怒火大发，将所有罪责归到陶谦名下，以青州兵为前锋，一路的杀戮，一路的抢劫，直捣徐州城下。

在这一过程中，曹操所率青州兵接连攻占虑、睢陵、夏邱等徐州所辖五城，经过郯县以东时，碰上陶谦部将曹豹以及刘备所率领的丹阳精兵。双方交手下来，以精悍著称于世的丹阳兵，还是难以抵敌青州兵，败下阵来。巨大的利益以及在新主子面前卖好等因素，让青州兵爆发出无穷的能量。