如果说以胜绩还不足以成就张辽的威名话，那么，逍遥津一战则足以使张辽跻身名将之列。赤壁之战后，曹操派张辽与乐进、李典等多人镇守合肥，正是在这里，张辽完成了他威震逍遥津的壮举。合肥是曹操对抗东吴的重镇，曹操对这个地方卜分看重，也知道孙权为了争夺合肥一定会全力以赴。因此他在派张辽等人驻守的同时，还给他们留下了一封信，信封上写着敌至乃发4个字。不久，孙权果然亲率一万大军来犯合肥。众将见事情紧急，赶忙打开书信。只见上面写着：如果孙权来到，张、李两位将军出战。乐将军守城，不得出战，看完此信，众将不禁都有些迷惑不解，强敌来临怎能主动出击，普丞相不会是弄错了吧？张辽初时也觉得费解，不过他略一思索，便领会了曹操的意思，他对众人解释说，曹公远怔在外，他知道如果我们固守待援，等救兵来时，我们的合肥城一定巳经被攻破了。因此，比我们趁敌人立足未稳时发动突然袭击，挫败敌人锐气，安定我们的军心。这样再来守城，才能坚持得住。看来，成败胜负，在此一战，我们不能犹豫。经张辽这一解释，大家恍然大悟，各个着手准备进攻。
张辽连夜挑选了800人的敢死队，饱餐战饭，准备第一天大干一场。这天天刚黎明，张辽就披甲持戟，整队出发。面对敌人，他大喊张辽来也，率先冲杀过去。到了敌人阵中，张辽如人无人之境，举手投足之间就杀死敌人数十人，斩首两员敌将，一直冲到孙权的麾下，孙权和他的部下哪里见过如此勇猛的将领，吓得他不知所措，赶忙逃到个小丘上，让侍卫来护着他。张辽见孙权躲在山上不下来，就在丘下向孙权挑战。孙权这时才缓过神来，他见张辽所率才不过寥寥几百人，立刻命令人将张辽包围，张辽杀得性起，东吴兵哪能阻挡得住，他率领手下数十人左冲右突，很快就破围而出。这时，他发现仍有一些人被围立刻就又奋起神威，冲进敌区，将余下的军士也救了出来。张辽这样几进几出，孙权的人望风披靡，无人敢挡。双方自早晨一直战到中午，孙吴军队斗志全失，纷纷溃退而回。这一战张辽以寡敌众，杀得东吴人心惊胆寒。孙权退军之后，张辽修完守备，军心人振，手下众将都服他的有勇有谋。孙权的军队前后攻合肥很多次，最终无功而返。战后曹操得知张辽退敌的情形，拜他为征东将军。216年，当曹操再次出兵攻打孙权，行军到合肥时，巡视当年张辽作战的地方，依然感叹不已，对这位大将更加爱惜。
曹丕即上位后，加封张辽为前将军。不久，孙权又兴风浪，曹丕于是又将张辽派往合肥，并特加恩宠，封他为都乡侯，曹丕代汉后，张辽又被封为晋阳侯。曹丕为了让这员虎将能够继续为他服齐，对他又是接见，又是赐府，还将他比做周代名将召虎。222年，孙权表示愿意臣服于曹魏。张辽撤军屯驻雍丘，不幸的是这时他却得了病。曹丕得知消息，连忙派太医为他看病，又亲自来看望他，赐他御衣、御食。张辽或许是为了回报这种优待吧，病情稍微好转，就又还屯驻地。这时，孙权出尔反尔，再次翻脸。张辽于是和曹丕乘舟到江陵，与曹休一起临江防守。孙权听到张辽抱病前来，对他依然心有余悸，赶忙吩咐手下的将领说：张辽虽然生着病，但勇不可当，你们要十分小心呀！不过，英雄大多是天妒其才、大夺其寿，就在这一年，刚刚50多岁的张辽在与众将击败孙吴大将吕范后，病情加重，最终在江都谢世。