建安十三年，马腾与镇西将军韩遂不和，请求入朝为官，被曹cao任命为卫尉。马超的几个弟弟也被都征召为官，唯独马超留守凉州，被封为偏将军、都亭侯，统领马腾的部队。
建安十六年，曹cao派遣钟繇、夏侯渊率领军队，试图经过马超等凉州军阀的领地进攻汉中张鲁。马超等人都怀疑这是针对自己用兵，马超对韩遂说：“之前司隶校尉钟繇曾命我谋害将军，关东之人已经不可以相信了。
如今我放弃我的父亲，如父亲一样对待将军，将军也应该放弃你的儿子，如儿子一样对待我。”韩遂部下阎行进谏韩遂，不希望他与马超联合，韩遂回答：“如今诸将不谋而合，似乎有天意啊。
最终韩遂决意与马超等多位军阀起兵反曹，率领十万人马（包括汉兵、羌兵、胡兵）进逼至潼关。曹cao派遣曹仁前往征讨，却被马超击败，马超进驻潼关，曹cao下令，让诸将坚壁固守，不要妄动。
同年七月，曹cao西征，与马超联军夹关相对。曹cao军驻扎在蒲阪，想要西行渡河，马超听说后对韩遂说：“可以在渭河北岸据守，不到二十天，河东粮尽，他们自己便会走了。”但是被韩遂拒绝，曹cao听闻了马超的计策后，感叹：“马儿不死，吾无葬地也。”
于是派遣徐晃、朱灵等夜渡蒲阪津，占据河西设立营寨，自己从潼关北渡，前队刚过，马超随即杀到，全军大乱，但曹cao稳坐不起。许褚、张郃等将见事情紧急，将曹cao带入船中急忙渡河，马超率领骑兵在后面边追边ao帐下校尉丁斐在河岸放出大量牛马，马超的士兵顾不得乘胜追击，乱取牛马，马超控制不住，曹cao因此得以成功渡河。
九月，曹cao采取贾诩的计策，写信给韩遂，离间马超联军，致使关中联军相互猜疑。曹cao趁此机会发动攻击，联军大败，成宜、李堪等战死。马超派使者送信给曹cao，想割河西之地以请和，但曹cao不同意，马超于是退走凉州。
后来马超进击陇上郡县，张鲁也遣大将杨昂相助马超，共集结万余人，围攻凉州刺史韦康于冀城。五月，曹cao抓捕马腾等人，宗族三百余人，全部被杀。另一方面，又派夏侯渊前去救援。八月，夏侯渊援军未到，马超已占据冀城，杀害韦康。夏侯渊领兵前来攻打，行军至距冀城二百余里时，马超领兵前来迎战，夏侯渊被马超大败，遂撤军。此时氐王千万起兵响应马超，率军屯于兴国。马超自称征西将军，领并州牧，督凉州军事。
建安十八年九月，韦康手下杨阜、姜叙等人合谋，将马超击破，占据冀城，并杀害马超全家。马超大怒，但又回不到冀城，于是袭击历城，杀死姜叙母亲。杨阜与宗弟七人来战马超，全部被马超杀死，杨阜自己也身负重伤。马超无家可回，只得投奔汉中张鲁。张鲁开始打算把女儿嫁给马超，最终在部下的劝说下方才作罢。
马超向张鲁借兵，打算攻取凉州。张鲁遣马超围攻祁山，结果失利而回。如今曹cao围城，张鲁多次督促马超出阵，正如张鲁部下所预料的额那样，马超是来寄居的打算借兵东山在四，而不是归顺了张鲁，而马超听闻张鲁部下对其多有猜忌，想要害他，所以不肯出城应战曹cao，于是二人之间的关系维持不下去了。
马超来头刘琮实际上和当初的算盘差不多，打算带上数月赢取信任之后借兵从剑阁杀回凉州东山再起！当然他这么想，刘琮是不可能给他这样的机会的。魏延看在主公的份上勉强接纳马超，在马超等人休整完毕之后便传达刘琮的命令。