曹操逃回枣庄时，建议关东诸将分别占据要塞，稳扎稳打。静观其变。然而关东渚将还是不愿采纳，依然毎天只是置酒高会，不图进取，曹操吃了这一次败战，感到要建功立业就必须有足够的军队。于是他和夏侯惇等人一起到扬州（东汉治历阳）着乎幕兵。在扬州刺史陈温、张杨（今江苏南京）太守周昕的帮助下，他募到了4000多人。但是在带军到龙冗（今安徽怀远沔北）的时候，募到的人很多又都叛逃，剩下300多人。后来曹操只好又在锌县，建平等地招收广1000多人，进屯河内（今河南武陟两南）文表诸将期在酸枣迁延不进，后来军粮供应不足。便作巧兽散这时身为盟主的袁绍，并不以指挥军队与董卓决胜疆场为目的，反而惦记着另立幽州牧宗室刘虞为帝，好使自己能够实际橾纵政权。曹操对这件事坚决反对，袁绍同执己见。
直到连刘虞自己己都不同意这样做时，袁绍才不得不罢手。关东诸将在讨伐董卓时并不积极，然闹自己窝里斗时却不遗余力，散伙之后，他们个个拥有重氏，独霸一方，形成军阀纷争的态势。袁绍在群雄散伙之后不久，就占据了冀州作为巢穴。此时，青州的黄巾军和河北的黑山军发展很快。袁绍担心这两支起义军联合起来。会威胁自己在冀州的统治，就以盟主的身份，命令曹操进人朱郡（治东武阳，今山东莘县西南）剿火黑山军。曹操也想趁此机会，取得一块地盘，于是领兵进入东郡，镇压黑山军的白绕部。当年，青州黄巾军进入兖州，杀死了刺史刘岱。刘岱一死，一时兖州州中无主，东郡人陈宫趁机出面为曹操做说客，说眼了州中大小官员，拥戴曹操继任兖州牧。这之后不久，齐操又出兵进攻寿张（今山东东平西南）的黄巾军，由于黄巾军的顽强抗击，曹操初战遭受惨败。
但曹橾并没因为失败而气馁，他明设赏罚，承间设奇，昼夜会战，最终扭转广战局，迫使青州黄巾军30万人向他投降。对于这支投降的队伍，曹操进行了改编，挑选精锐。组成青州兵，实力一下子壮大了不少，曹操终于有了争雄大下的资本。兖州是四战之地。令很多军阀都对它垂涎，曹操刚在那串又插往一脚，就遭到南阳袁术的进攻。不过袁术根本不是曹操的对手，被曹操打得落花流水，丢掉了南阳。转年，曹操派人到琅琊接父亲曹嵩到兖州。途中被徐州牧陶谦的部将所劫。曹嵩被杀，财物也被抢走。本来曹操向徐州扩展的打算，这正好为曹操攻打徐州提供了一个借口。从这年的秋天开始直到第二年，曹操打着为父报仇的旗子两次征讨陶谦，所过之处，大肆杀戮，陶谦被打得要放弃徐州，投奔洛阳。似就在这时，曹操后院着火。
陈六、张邈联介吕市，趁肴兖州兵力空虚，占领了兖州的绝大多数城池，只有鄄城（今山东鄄城）和范昱未被攻下。曹操连忙撤军叫救。吕布是一个没有智谋之辈，最大的优点也就是三国群英传中武力第一罢了。在这个过程当中，曹操受伤还险些被捉。但很快曹操就重整旗鼓。吕布和张邈向徐州退却，曹操围追过去。张邈想到袁术那里求救，结果途中被部下所杀。这样曹操就控制了整个兖州，有了自己的根据地，恰巧，这叫朝廷也正式封他为兖州牧，这为他以后的发展提供了基本的条件。