实力的壮大，固然好事，但也为公孙瓒带来了祸端。这就是公孙瓒的野心随实力的壮大而膨胀，使他和自己的顶头上司幽州牧刘虞以及平阀袁绍之间产生了矛盾。和刘虞的结怨是源于两人对于乌桓的不同态度。公孙瓒身为武将，用武畏他所长，因此一直想用武力去扫灭乌桓，刘虞却想用怀柔的手段进行招降。二人意见不合，便产生了隔阂。公孙瓒与袁绍的矛盾则是那个纷乱年代军阀之间的势力之争。公孙瓒打败黄巾军后不久，军阀袁术在与袁绍的争斗中落了下风，派人来向刘虞求救。公孙瓒劝刘虞不要派兵，但刘虞没听。公孙躜担心袁术知道后会心生怨恨，就主动派他的弟弟公孙越率领1000多名骑兵援助袁术。袁术将公孙越派往前线，结果被袁绍的军队射死。公孙瓒这时正嫉恨袁绍夺走了他想要的冀州，于是以报仇为名，出军进驻磐河，大举进攻袁绍。战争一开始公孙瓒节节胜利，袁绍手下的官吏纷纷叛变来投。袁绍见势不妙，也赶忙讨好公孙瓒，封他的堂弟公孙范为渤海太守，想要以此来讨好公孙瓒，使他退兵。但是公孙瓒根本没理这套，继续进军，双方在界桥（故址在今河北威县境内）大战。公孙瓒以往以寡敌众时能奋死拼搏，立于不败之地。然而当他以优势兵力面对袁绍时，却犯了骄傲轻敌的毛病。这场战争，公孙瓒出兵3万，还将自己的甶马义从也派上了阵；袁绍那边则只出动800人打先锋，以一长弩手为掩护，将大队人马都隐伏在后阵。公孙瓒见敌人按兵不动，以为袁军胆怯，便率领骑兵横冲直进，完全没有提防敌人的强弓硬弩，结果被袁军一阵弩箭，射得兵众四散，大败而逃，惨败之际，公孙瓒只、得收拾部众，退回幽州。
公孙瓒由于与幽州刺史刘虞长期不和，双方终于发生火并。最后公孙瓒杀死刘虞，尽占幽州之地。身边的政敌一清除，公孙瓒便有些不可一世起来。在公孙瓒未杀刘虞之前，有谣言说：燕南噩，赵北呩，中央不合人如砺，惟啬此中可避迁。公孙瓒以为站县的形势与童谣符合，楚将治所迁到那儿，在当地大修营垒城堑。筑楼观数十层，以备将来不时之需。这些楼凭临易水，通达辽海，营造得像铁桶样。公孙瓒生性有些骄横残暴，而念故的刘虞则向来深得白姓及其属下的爰戴。因此，公孙瓒杀死刘虞后不久，刘虞原来的部下鲜于辅等人就率领州兵，纠合乌桓、鲜卑数万人共同起来反对公孙瓒。袁绍趁机也派将军魏军前来助战，大兵压境，公孙瓒被逼得穷于应付。鲍丘一役公孙瓒被讨伐联军杀得大败，损失2万多人。不得不退守早已修好的铋京，开设屯田，以求自给。公孙瓒事先筑的这鸣楼现在还真的派上了用场，麹义等人持续削攻一年多后，粮尽年疲，只得返走。公孙瓒暂时躲过了覆亡之灾，侥幸逃过一劫的公孙瓒并没有改变统治方法，反时变得更加刚愎自用。这时，旱灾、蝗灾小断，谷贵如金，人民相食。柯公孙瓒却自持才力，不肯体恤百姓，州里名声大过他的人统统设法加以谋取他所宠爱，多是原来商贩之类地位低下的人。这歧人到处侵扰，弄得百姓怨卢载道。于是代郡、广阳、心北十等地纷纷杀死公孙瓒委派的官吏投奔鲜于辅。