大将军何进又派张辽往河北募兵，共得千余人。当张辽募兵尚未回京时，何进已经被宦官杀死，董卓掌握了洛阳，无所依赖的张辽值得归顺董卓。192年，董卓被杀，张辽统兵归属于吕布，担任骑都尉之职。
之后吕布为李傕、郭汜等人击败，张辽跟从吕布往东奔至兖州，后又来到徐州。199年，吕布被曹操所擒，在关羽的解劝下，张辽率领吕布军余众归降，被封为中郎将，赐爵关内侯。200年，袁绍派猛将颜良袭击白马，曹操随即命张辽、关羽率军作为解白马之围的前锋，两人率军击破袁军。数有战功，张辽被封为裨将军。

201年，张辽与夏侯渊奉命同围困叛将昌豨，历经数月围城，曹军粮秣将尽，众人商议先引军而还，但张辽却向夏侯渊说：“数日已来，每行诸围，豨辄属目视辽。又其射矢更稀，此必豨计犹豫，故不力战。辽欲挑与语，傥可诱也？”
张辽命人向昌豨宣布：“公有命，使辽传之。”昌豨下山与张辽对话。张辽趁机说道：“太祖神武，方以德怀四方，先附者受大赏。”昌豨便答应投降。为了表示坦陈，张辽单人独骑只上三公山，到昌豨的家中，并拜候其家人。昌豨见张辽如此坦诚相对，心中欢喜，便随其见曹操。后来曹操出于对张辽的爱护，曾责备于他，但张辽却说：“以明公威信著於四海，辽奉圣旨，豨必不敢害故也。”

此后张辽又跟随曹操讨伐袁绍余党，平定河北一带。张辽作为先锋，引军突击，大破乌桓，亲手斩杀了乌桓单于蹋顿。209年，庐江人陈兰、梅成占据氐等六县作叛，曹操命张辽讨伐。张辽不畏艰险，率军登山作战，终于平定祸乱。战后曹操论诸将功劳，说：“登天山，履峻险，以取兰、成，荡寇（张辽时任荡寇将军）功也。”

后来张辽奉命与乐进、李典率七千人驻扎在合肥一带。215年，曹操西征张鲁，派人将着一封信函交给张辽，上书四字“贼至乃发”。不久孙权率领十万大军进围合肥，张辽等人拆开书信，信中言道：“若孙权至者，张、李将军出战；乐将军守，护军勿得与战。”
敌众我寡，还要出战？这让诸将十分疑惑。此时张辽言道：“公远征在外，比救至，彼破我必矣。是以教指及其未合逆击之，折其盛势，以安众心，然后可守也。成败之机，在此一战，诸君何疑？”，张辽于是在夜间挑选敢死队，共得八百人，然后杀牛宰羊，让将士们饱餐战饭。

第二天天尚未亮，张辽率领敢死队被甲持戟发起攻击，张辽一马当先，攻陷敌阵，立杀数十人，斩其二将，并于阵中大呼己名，然后突击冲入重垒，直至孙权麾旗之下。孙权惊恐万分，手下顿时手足无措，只得向附近逃到高坡之上，以长戟自守。张辽见东吴军退避，便叱喝孙权，要他他下来单挑，孙权惊惧万分，不敢动弹。
过了一会儿，孙权缓过神来，才发现望张辽的兵马很少，于是聚集军队将张辽团团包围。张辽于吴军阵中左突右冲，直前急击，率领数十个亲兵杀出得以脱出。张辽出来后发现，阵中尚有馀众未出，他们大声向张辽呼救道：“将军弃我乎！”张辽随即拨转战马，杀入重围，救出馀众。孙权人马望风披靡，无人敢抵挡张辽。

此战自早晨战至日中，吴军锐气尽失，张辽率军从容返回城中，诸将对张辽无不叹服。此后孙权又攻打合肥十馀日，但始终攻不下来，师老兵疲，下令还军退师，张辽趁机率诸军乘势追击，东吴大将陈武战死，宋谦、徐盛望风而走。后来张辽审问东吴降兵时，才得知自己差点活捉孙权。
此役之后，江东小儿啼哭不肯止者，其父母只要吓唬说：“张辽来了，张辽来了！”孩童就没有敢哭泣的了。后来“张辽止啼”的故事传到日本，日本俗语中就有了“辽来来”一语。

张辽此后基本上坐镇东南，防范东吴的入侵。221年，张辽到洛阳朝见魏文帝曹丕。曹丕询问当年破吴时的情状，张辽述说过后，曹丕向左右赞叹道：“此亦古之召虎也。”曹丕对待张辽甚厚，张辽也竭忠尽力。
222年，张辽抱病奉命临江驻防，孙权得到消息后，告诫诸将：“张辽虽病，不可当也，慎之！”此后张辽与诸将同破吴将吕范，这也是他人生的最后一战。不久张辽病死于江都，时年53岁。

消息传到洛阳，曹丕为之流涕，追谥张辽为刚侯，并让其子张虎嗣任其爵。225年，曹丕追念张辽、李典在合肥战功，下诏褒奖：“合肥之役，辽、典以步卒八百，破贼十万，自古用兵，未之有也。使贼至今夺气，可谓国之爪牙矣。其分辽、典邑各百户，赐一子爵关内侯。”