建安九年，张辽再次随曹操攻打邺城，这次终于攻破邺城，张辽奉命别巡赵国、常山，招降了缘山一带的贼众及黑山孙轻等，此后再度随曹操攻击袁谭。
建安十年，袁谭败亡后，张辽受命安抚海滨一带，大败公孙度所置的营州刺史柳毅、与长广太守何夔合兵讨平矣平贼从钱等。曹操上表汉献帝，称张辽、于禁、乐进说：“武力强大，计谋周全，品性忠正，操守高洁，每次征战，身先士卒，勇猛顽强，无坚不摧；亲自擂动战鼓，忘了疲倦。他们单独领兵征讨，统率全军，抚慰将士，纪律严明，秋毫无犯；临敌决策，没有失误。论功记职，应该给予显要荣宠。”收复东莱诸县后的张辽引军还邺城，曹操亲自出城迎接，邀请他同乘一辆车，任命他为荡寇将军。
建安十一年，张辽率军攻打荆州，平定江夏诸县，在临颖屯兵，再度受封为都亭侯。
建安十二年，曹操要征讨在柳城的袁尚，张辽进谏道：“许都，是天子所在的地方。现今天子就在许都，曹公北征甚远，若刘表派遣刘备攻击许都，占据它号令四方，您的形势将会大去。”曹操则判定刘表必不能任用刘备，遂继续出征。行军中途与敌军相遇，张辽壮气奋发，力劝曹操接战，曹操十分欣赏张辽的斗心，又看见乌桓的军队尚未排成阵形，于是将自己的麾旗授予张辽暂用，任命张辽为前锋出战，于是张辽引军突击，大破乌桓，斩单于蹋顿于阵前。
建安十三年，荆州尚未安定，曹操命张辽屯军于长社。军队临出发之际，军中忽有谋反者起事骚动，半夜惊乱起火，全军尽受其扰。此时张辽对左右说：“不可乱动。这一定不会是全营尽反，必然是引起叛变之人，想藉此惑乱他人而已。于是传令军中，只要不是反乱者安坐勿动。而张辽则带领亲兵数十人，守立于阵中。不久情况稳定下来，军中随即擒获首谋者，并将其杀除，动乱亦告平定。赤壁之战时，曹操徙赵俨为都督护军，护于禁、张辽、张郃、朱灵、李典、路招、冯楷七军，都是曹军赤壁之战主力，可惜一把火，全军尽墨。
建安十四年，庐江人陈兰、梅成占据氐等六县作叛，曹操于是遣于禁、臧霸等讨伐梅成，又命张辽督领张郃、牛盖等讨伐陈兰。当时梅成诈降于禁，于禁引军便还。不料梅成趁机会带其军众往投陈兰，二人转入灊山自守。灊山中有天柱山，高峻约有二十馀里，道路险狭，陈兰等众避于其上，山下进军难通。张辽意欲登山进兵，诸将皆说：“此山道路险恶，我军兵少，很难可以深入用兵。”张辽却说：“这正是所谓‘一与一，勇者得前耳’”于是进至山下安营，起兵上山攻击，终于斩下陈兰、梅成首级，尽虏其众。曹操论诸将功劳，说：“登上天山，踏过险峻，成功讨取陈兰、梅成，都是荡寇将军的功劳。”于是增其邑，假节。
当曹操征孙权无功而还时，任命张辽与乐进、李典等部领七千馀人马屯守于合肥。
建安十八年，与臧霸同为征濡须口的前锋，攻破孙权江西营，擒获孙权都督公孙阳。
建安十九年，孙权大将吕蒙奇袭攻下庐江的皖城，张辽在增援途中得知皖城失守，无奈被迫退军。
建安二十年，曹操往征张鲁，让护军薛悌给张辽送去一封信函，让张辽在有敌人来攻时再打开来看。不久东吴孙权率领十万大军进围合肥，张辽与诸将打开信，信中说：“若孙权军来到，张、李将军出战；乐将军守护军，不得与战。”但是诸将不理解其中的意思，张辽与李典消除诸将的疑惑，整军备战。
于是张辽在夜间募集敢于迎战的精锐将士八百人，开剥牛羊让将士饱食，准备明日大战。天未亮时，张辽被甲持戟，独自先登直陷敌阵，亲手斩杀了孙权军队的数十人和两名将领，并于阵中大呼自己的名号，然后突击冲入重垒，直至孙权麾旗之下。孙权见状大惊，东吴军将手足无措，不知所为，只得走登于高丘之上，用长戟自卫。张辽见敌军退避，便叱喝孙权，挑衅他下来对战，但孙权没有轻举妄动，随后孙权发现张辽所率领的士兵非常少，于是聚拢士兵将张辽包围。张辽在吴阵中左冲右突围，率领麾下数十人得以突出重围。但阵中仍然有没突围出来的将士，他们向张辽大喊呼道：“将军舍弃我们了吗！”张辽又杀入重围，救出被围困的众人。孙权人马皆望风披靡，没有人敢抵挡张辽。江东名将陈武也在此战中被击杀。
从早晨战至日中，吴军锐气为张辽所夺，曹军此时还城修业进行守备，众心方才安定下来，诸将对张辽所为均表示叹服。孙权攻打合肥十馀日，始终攻不下来，于是还军退师，张辽率诸军乘势追击，几乎捉住孙权。曹操闻此，对张辽的表现大加赞许，并拜张辽为征东将军。
建安二十一年，曹操再征孙权。军到合肥，曹操循行视察昔日张辽作战的地方，赞叹良久。于是给张辽增兵，多留诸军徙屯居巢。
建安二十二年，曹操攻濡须口，孙权请降，留夏侯惇、曹仁、张辽等屯居巢。
建安二十四年，关羽围曹仁于樊城，适时孙权称藩于魏，为了让孙权安心攻打荆州，于是曹操召张辽及诸军悉数回救曹仁。张辽尚未到达，徐晃已经打败关羽。张辽便与曹操会师摩陂，曹操乘车出来慰劳他，并派他屯于陈郡。
建安二十五年，曹操去世，曹丕即位魏王，改迁张辽为前将军，分封其兄张汛及一子列侯。不久孙权再叛变，张辽还屯合肥，并进爵都乡侯。曹丕赐舆车予其母以示荣宠，并派兵马送其家人到他驻军的地方，又预先在当地告示张辽家人将要到临，命令所有守军出迎，众军士将吏都列队出候拜迎张辽家人，看见此景的人均认为这是十分荣耀的事。同年，曹丕称帝，再封张辽为晋阳侯，增邑千户，并前二千六百户。
黄初二年，张辽到洛阳皇宫朝拜，曹丕便引张辽会晤于建始殿，亲问其昔日破吴时的情状。张辽述说过后，曹丕向左右叹息道：“简直是古代的召虎啊。”于是为张辽建造屋舍，替其母兴建殿室，当年跟从张辽突破吴军阵营、临时应募的一众步卒，都被封虎贲。
黄初三年，孙权再次向曹魏称臣。张辽奉命还屯雍丘，却在此得病。曹丕遣侍中刘晔带著太医审视其疾，并令虎贲卫士们往来传达张辽病况，为张辽问病的使者经常在路上互相遇见。
张辽之疾久未痊愈，曹丕命人把他接到自己的行营，自己则车驾亲临，握着他的手，赐给他御衣，太医官每天来送御膳、御药。病情稍有好转后，张辽便返回其屯军之所驻军，忠于职守。正当其时，孙权再次背叛曹魏，曹丕派张辽乘舟，与曹休到海陵临江驻防。孙权知张辽至此，甚为忌惮，敕令诸将道：“张辽虽然抱病，但仍是勇不可当，千万要谨慎在意！”同年，张辽与诸将同破吴将吕范。但他的病情却也日渐严重，最后终于在江都逝世，一代名将就此陨落。曹丕为之流涕，谥曰刚侯。其子张虎嗣任其爵。
黄初六年，曹丕追念张辽、李典在合肥之功，诏曰：“合肥一役中，张辽、李典仅以步卒八百人，破贼十万之众，自古用兵，未见如此。他们使贼众至今仍气为之所夺，真可谓国之爪牙。现分封辽、典邑各百户，赐一子爵关内侯。”
正始四年，张辽得享从祀于曹操庙庭。历任官职为：郡吏，骑都尉，鲁相，中郎将，关内侯，裨将军，行中坚将军，荡寇将军，征东将军，前将军，内朝官，亚于车骑、骠骑大将军。
欲知后事如何，且听下回分解。