对马超来说，幸运的是曹操有刘备和孙权这两大后患，不敢深入远在西北的凉州追击他，使马超得到了喘息之机。马超家历代都住在凉州熟知地理民情，又有羌胡少数民族的支持，再加上马超本人英勇善战，很快就重新积聚部众卷土重来。在陇上一带攻城略地，兵势很盛。许多郡县都响应马超，不战而降，只在冀城遭到抵抗。不过，由于曹操的救兵迟迟不到，马超最终还是拿下冀城。马超入城后杀了曹操任命的凉州刺史和太守，自称征时将军，兼并州牧，督凉州军事。冀城失陷之初，夏侯渊率领的救兵才姗姗来迟。马超迎击，夏侯渊败阵而回，眼见马超的事业刚有起色，但此时又偏偏遇到了几个曹氏的忠将、一个是参凉州军事杨阜，此人开始就不支持冀城投降，只足不得已才随众投降。他找了个借口告假，到天水去见和他同样巳投降超的表兄姜叙，两人见面后，一拍即合，共同定计反马。又约赵昂等人合谋，还联系了冀城内的梁宽、赵衢作内应。
213年九月，杨埠与姜叙等人起事，这时身在马超军中的人力劝马超出城应敌。待马超出城之后，赵衢与梁宽等人一起在城中反叛，关上城门。马超一下变得无家可归，只好逃跑，正巧跑到了姜叙之母所在地，马超自然是杀之而后快，又杀掉了赵昂的儿子。虽然解了一时之气，但这一回，马超也输光本钱，在西凉无处容身，只得投奔汉中张鲁。由于变生突然，他连自己的家眷都没能带出来，全被叛军尽数杀死。
马超降张鲁之后，张鲁为了笼络他，曾想把自己的女儿嫁给他。却有人对张鲁说：有这么一种人，连家人都不能爱，又怎么能指望他去爱别人呢张鲁遂绝嫁女之念。马超身遭惨败之后，本已十分沮丧。寄人篱下，又被人另眼相看，自然就更加郁郁不得志。到了214年，马超在张鲁帐下呆得久了，发现张鲁其实并没有多大志向，因此颇为失望。这时张鲁手下的一些人又惮于马超英勇，怕马超突然反张，在张鲁面前使劲说马超的坏话。这两者加在一起，使马超有了弃张之心口正在此时，刘备派人来招降马超，马超于是偷偷南下，并写密书向刘备请降，刘备派兵暗助马超。于是，马超来到成都城下，帮助刘备攻打成都，这时刘备已与刘璋开战已久，围成都城也已有数十日。成都人一听说马超来了，震惊不已，不久刘璋就出城投降了。刘备对马超这样一位地位高、名声大的虎将十分看重，刚入成都，就封他为平西将军、都亭侯，进位汉中时，封他为左将军。地位在武将中仅次于关张二人。到了刘备称帝时，又封他为骠骑大将军领凉州牧。