张合跟随曹操之才能终于得以充分发挥。他纵横疆场，杀敌立功，很快成为曹操帐下的主力将帅。他跟随曹操，先是于进攻邺城时立功，后兵出渤海，进攻袁谭，又率兵攻取匈奴。曹操兵进邺城，追击袁尚、袁熙，他又和张辽起冲锋在前，因功被提升为平狄将军。此后张合又屡建功勋，讨平东莱管承，和张辽共同镇压了陈兰、梅成。曹操和马超、韩遂在渭南大战时，又包围安定，招降杨秋。
213年，曹操征服张鲁，留张合与夏候渊等人镇守汉中，抗拒刘备。张合率领一部分军队，招降了东、巴两一郡，将当地的民众迁到汉中。但是进军到了汉中时，小受挫折，被刘备手下大将张飞击败，领兵退回南郡。217年，刘备为夺取汉中，亲自领兵进屯阳平关，张合屯驻与他对抗。刘备率领精锐部队1万多人，分为几支部队，趁夜进攻张合。张合亲自率兵防守，将刘备击退。219年，刘备在走斜谷烧掉夏候渊营盘周围用来防守的鹿角。夏侯渊率兵救火，路上与刘备的军队相遇，双方发生混战，夏侯渊被黄忠杀死，张合退守阳平。夏侯渊的遇害，军中失去了主帅，大家都害怕刘备趁机进攻，军中人心惶惶。这时夏候渊部下的司马郭淮向大家提议说：张将军，是国家的名将，刘备也惧怕三分。现在事情紧迫，除了张将军主持大局外是无法安定军心的了。于是推张合为军中主帅。张合不负众望，他安营布阵将一切安排得井井有条，军心很快被稳定下来，防止了进一步的溃败，张合这次临危勇扭大任，胆识着实过人。
曹操在长安，专程派人为他送来大帅的麾节。曹丕即王位后，封张合为左将军，晋爵为都乡侯。称帝之后，又进封为郑侯。派他与曹真镇压了安定卢水胡人及东羌的叛乱，他们完成任务后，曹丕还特意在许昌召见他们。此后，张合被又派往南方与夏侯尚出击江陵。曹叡即位之后，张合已是一朝元老，但他依然很勇健，协助司马懿对抗东吴孙权和西蜀诸葛亮。
228年。诸葛亮出兵祁山进攻魏国。张合被封为统率军队的主帅，到街亭去抗击诸葛亮的部将马谡。张合虽然年老，他作战依然不含糊。他见马谡舍街亭城池，而跑到南山上驻扎。就派人截断马谡军队下山取水的汲道，使敌人不战自乱，然后再率军攻打，将马谡杀得大败。之后又平定了南安、天水、安定等郡响应渚葛亮而反叛的军队。曹叡见他功勋卓着，特意下诏进行嘉奖。同年冬天，当张合和司马懿在荆州想要进攻吴国，而因冬天水浅不能成行的时候。诸葛亮又出兵祁山，急攻陈仓。曹叡急忙派司马昭张合到京，命他带领3万大军太抗拒诸葛亮，并亲自摆酒为他送行。送行的宴上，曹叡询问张合：等将军到达前线，诸葛亮会不会已经攻陷了陈仓呢？张合知道诸葛亮这次只是悬军深入，给养不足，不能久攻，因此就对曹叡说：臣还没有到达时，恐怕渚葛亮就已经走了。屈指算来渚葛亮巳经有10天没有得到新的军粮了。果然，当张合昼夜行军，当到达前线时，诸葛亮就经退兵。曹叡见张邰如此料敌如神，对他益加亲重，拜力征西车骑将军。231年，诸葛亮再一次出兵祁山，曹叡又下诏命令张合统率军队前去抵抗，当张合西进时，诸葛亮退保祁山，司马懿命令张合追击，张合知道渚葛亮计谋多端，劝司马懿不要出击。但司马懿当时是主帅，在他的一再催逼之下，张部只得出击。结果张合追到木门，和诸葛亮的军队交战，被箭射中右膝，伤重而死。