初平二年（191年），黑山贼于毒、白绕、眭固等率十多万人攻打魏郡、东郡，东郡太守王肱不能抵御。
曹** 引军入东郡，在濮阳击破白绕。
因此，袁绍表曹** 为东郡太守，治所在东武阳。
初平三年（192年），曹** 驻军顿丘，于毒等人攻打东武阳。
诸将建议曹** 回军救援，曹** 欲图趁机袭击敌军本屯，对诸将说：“孙膑救赵而攻魏，耿弇欲攻西安而攻临淄。让敌军知道我军西进而回撤，则东武阳之急自解。如果他们不回，我就能攻破他们的本屯，他们却必不能拿下东武阳。”
于是，曹** 引兵西入山，攻打于毒等人的本屯。
于毒得知后，放弃攻打东武阳而回军。
曹** 邀击眭固，又在内黄与匈奴於夫罗交战，皆大获全胜。
初平三年（192年），青州黄巾军大获发展，连破兖州郡县，阵斩兖州刺史刘岱。
济北国相鲍信与州吏万潜等人来到东郡迎曹** 领兖州牧。
曹** 和鲍信合军进攻黄巾，战于寿张之东，鲍信战死。
曹** “设奇伏，昼夜会战”，终于将黄巾击败。
当年冬天，他获得降卒三十余万，人口百余万。
曹** 收其精锐，组成军队，号称青州兵。
这样，曹** 又有了一支颇具战斗力的军队。
同时，袁术与袁绍交战，向公孙瓒求援。
公孙瓒让刘备屯高唐，单经屯平原，陶谦也屯兵发干，以此进逼袁绍。
曹** 帮助袁绍击破陶谦诸军。
初平四年（193年）春天，袁术因粮道被刘表切断，引军进入陈留，屯兵封丘，黑山军及南匈奴於夫罗部都帮助袁术。
袁术令部将刘详屯匡亭，曹** 率兵攻打刘详，袁术带兵救援，双方激战，曹** 大获全胜。
袁术兵败，退守封丘，曹** 率军包围，围势未成，袁术又逃往襄邑。
曹** 追到太寿，决开渠水灌城。
袁术逃往宁陵，曹** 再次追击，袁术只得逃往九江。
夏季，曹** 回到定陶。
当时，陶谦与阙宣共同举兵，攻取泰山的华、费二县，接着率军攻入兖州南部的任城。
秋季，曹** 率军征讨陶谦，进兵徐州，向东南扩展势力，攻克徐州十余城。
曹** 与陶谦大战于彭城，陶谦军败退，死亡的人数将近一万，泗水为之不流。
陶谦退守郯县，不敢出战。
不久，曹** 军粮将尽，撤围回军。
兴平元年（194年）春天，曹** 回到兖州。
当初，曹** 的父亲曹嵩和弟弟曹德在前来曹** 处途中，被陶谦派兵杀害，因此曹** 志在** 。
夏季，曹** 再征徐州，攻破五城，略地至东海，回军在郯县击破刘备、曹豹，又攻破襄贲，所过之处多所残戮。
东郡守备陈宫对曹** 不满，于是与陈留太守张邈、张邈之弟张超、从事中郎许汜及王楷等同谋叛乱，迎吕布为兖州牧。
当时，只有鄄城和东郡的范县、东阿两县尚在曹** 掌握之中，分别由司马荀彧和寿张县令程昱、东郡太守夏侯惇等坚守，形势异常危急。
曹** 从徐州赶回，听说吕布屯于濮阳，遂进军** 濮阳。
二军相持百余日，蝗灾大起，双方停战，曹** 军还鄄城。
此时，曹** 失去了兖州，军粮已尽。
袁绍派人来劝说，想让曹** 投靠他，让曹** 举家迁到邺县当人质。
曹** 本打算答应，但被程昱劝阻。
十月，曹** 到达东阿。
兴平二年（195年）春，曹** 袭击定陶，济阴太守吴资保守南城，曹** 攻之不下。
吕布率军前来，曹** 将他击败。
夏季，曹** 攻击巨野，吕布率军救援巨野。
曹** 击破吕布军，斩杀屯驻巨野的薛兰等人，吕布会合陈宫率领一万多人从东缗赶来。
此时，曹** 士兵大多数都外出收麦了，留下的不足一千，营垒也不坚固。
曹** 命妇人守于城上，士兵拒守吕布。
营垒西边有一条大堤，南边是幽深的树林，吕布怀疑曹** 有埋伏，对部下说：“曹** 诡计多端，切勿进了他的埋伏。”
于是，率兵驻扎在曹** 营垒南边十多里的地方。
次日，吕布再次前来，曹** 令一半士兵藏于堤坝之内，一半在外诱敌。
吕布进军，曹** 派轻兵挑战。
双方交战后，曹** 的伏兵出动，步骑并进。
吕布大败，鼓车被曹** 缴获，曹** 一直追到吕布军营才返回。
吕布连夜逃走，曹** 追击，又攻克定陶，分兵平定诸县。
吕布前往徐州投奔刘备，张邈与吕布同行，留张超驻守雍丘。
七月，因关中李傕、郭汜的火拼，汉献帝从长安东归。
八月，曹** ** 张超于雍丘。
十月，献帝正式拜曹** 为兖州牧。
十二月，曹** 攻破雍丘，张超** 。
曹** 夷灭张邈三族，而张邈在求救袁术的途中被部下所杀。
自此，兖州平定，曹** 又率军东攻陈国之地。
建安元年（196年）二月，曹** 讨平汝南、颍川一带的黄巾军何仪、刘辟等部，献帝封曹** 为建德将军。
六月，经曹** 谋士董昭的劝说，献帝身边的将军杨奉等人表请拜曹** 为镇东将军，袭父费亭侯之爵位。
早在初平三年（192年），曹** 的谋士毛玠就提出了“奉天子以令不臣，修耕植，畜军资”的战略性建议，曹** 深以为是。
此时，曹** 想迎接献帝，其谋臣大多认为山东尚未平定。
而献帝身边的韩暹、杨奉等又骄横难制，所以不赞成迎接，只有荀彧、程昱极力劝迎。
最后，曹** 决定派曹洪率兵迎接献帝，但被卫将军董承与袁术的部将苌奴据险阻止。
建安元年（196年）七月，献帝回到洛阳，董承为牵制韩暹等跋扈的将领，又密召曹** 来洛阳。