黄巾起义爆发前后，臧霸投奔陶谦，被后者拜为骑都尉。不久，他又参与了镇压黄巾大起义的军事行动，屡立战功。
黄巾起义被镇压下去之后，臧霸收兵于徐州，与孙观、吴敦、尹礼等聚合军众，并自命为统帅，屯于开阳一带，自成一方霸主。
197年，臧霸率部攻打莒县（今属山东），破琅邪国相萧建部，并得敌大量军资。而在此之前，已率兵大破袁术的吕布曾写信给割据莒城的萧建，劝他和自己结盟。萧建经过深思熟虑之后，决定“遣主簿赍笺上礼，贡良马五匹”与吕布，以示交好之意。
俗话说：天有不测风云。萧建的使节出了莒城不久，就被臧霸的部下袭击，随行的物资也被臧霸所夺。
吕布在下邳闻知贡礼被夺之事，大怒，决定亲自率军去讨要说法。高顺劝谏说：“将军躬杀董卓，威震夷狄，端坐顾盼，远近自然畏服，不宜轻自出军；如或不捷，损名非小。”吕布不听，亲自领兵攻打莒县。
此时，臧霸已经拿下了莒城。他听闻吕布大军开到，“畏布钞暴”，于是指挥部下紧闭城门，固守危城。
数日后，吕布大军开到。臧霸率士卒“登城拒守”。吕布军攻城不利，损失了部分人马。吕布无奈，只得引军返回下邳。
事后，臧霸主动派遣使节前往吕布军中，示以和好之意。吕布出于不得而知的战略考虑，同意和好。至此，臧、吕两家又结成了联盟。这个联盟直到曹操破徐州之时，才宣告解散。