长大成人后，李泌更为博学，尤其精通《周易》。但他却无心仕途，耻于像一般人那样追求功名，而是钟情山水，欣慕老庄、神仙之术，经常云游或隐居于嵩山、华山和终南山之间。天宝中期，李泌给玄宗上书，直言当时的朝政得失，玄宗才猛然回忆起当年那个“奇童”，随即征召李泌入朝，授予翰林待诏之职，让他到东宫辅佐太子李亨。
就是从这个时候起，李泌和李亨结下了不解之缘。李亨对他非常敬重，常称其为“先生”。从严格意义上讲，翰林待诏只是文学侍从，算不上真正入仕，而玄宗也曾经想授予李泌正式官职，却被他婉拒。所以，李亨和李泌实际上一直是“布衣之交”。
在东宫供职几年后，李泌因看不惯杨国忠的恃宠擅权，写了一首《感遇诗》讥讽朝政，结果得罪了杨国忠，旋即被逐出京师。李泌干脆脱离政治，从此躲到河南嵩山，开始了他的隐居生涯。
此后的几年里，李亨和李泌就断了音信。

当李亨从马嵬北上灵武之时，内心的彷徨和无助是可想而知的，所以他第一时间就想起了李泌，随即派人前往嵩山寻访，希望李泌能出山辅佐他。
山河破碎、国难当头之际，李泌当然没有理由置身世外、袖手旁观。于是，他几乎没有任何犹豫，就跟着使者日夜兼程赶到了灵武。李亨大喜过望，旋即引入内殿，与他促膝长谈。从此，李泌便以一介布衣的身份留在了肃宗身边，“出则联辔，寝则对榻”，就跟当年在东宫的时候一样。肃宗“事无大小皆咨之，言无不从，至于进退将相亦与之议”。（《资治通鉴》卷二一八）
很显然，此时的李泌虽然仍是布衣之身，但他对肃宗的影响力却远远超越了文武百官，甚至超越了宰相，完全称得上是一人之下，万人之上。肃宗多次要任命李泌为宰相，可李泌却坚决推辞。他说：“陛下像朋友一样对待我，说明我的身份比宰相还要尊贵，何必一定要我入仕为官，违背我的心志呢？”肃宗只好作罢。

但是，随着时间的推移，肃宗朝廷的规模越来越大，权威也日渐提升，一切都在朝着正规化的方向快速发展，因而李泌的布衣身份也越来越让肃宗感到尴尬。有一次，肃宗和李泌一起路过军营，士兵们就指着他们窃窃私语，说：“那个穿黄衣服的是‘圣人’，那个穿白衣服的是‘山人’。”所谓“圣人”，意指皇帝；而所谓“山人”，意思就是山野村夫了。肃宗听到这样的话，心里当然是老大不爽，于是下定决心，无论如何也要改变李泌的布衣身份。
肃宗把外面的议论告诉了李泌，然后说：“值此非常时期，我虽然不敢强迫先生当官，但还是请先生换一件紫袍（三品以上官服），以免下面的人说三道四。”李泌不得已，只好接受。可李泌刚刚把紫衣穿上，肃宗就笑容满面地看着他说：“既然紫衣都穿了，岂能没有一个名分！”随即从怀里掏出早已准备好的一道敕令，宣布任命李泌为侍谋军国、元帅府行军长史。所谓“侍谋军国”，是李亨的一项特殊发明，也是专门为李泌量身定做的。由此可见，为了让这个死活不肯当宰相的李泌有一个合适的名分，李亨可谓用心良苦。

这下子，李泌才知道自己被肃宗忽悠了，赶紧连声推辞。肃宗一脸正色道：“朕不敢封你为宰相，只是暂时给你一个身份，等到叛乱平定，便任你远走高飞。”
皇帝都把话说到这份上了，李泌要是再推辞，就显得太不近人情了。李泌无奈，只好勉强答应。
李泌之所以死活不肯当官，首先当然是因为他那与众不同的个性。他一贯鄙视世间的虚名浮利，尤其鄙视那些为了权力、富贵而不择手段的钻营之辈。因此，即便是为了辅佐李亨而不得不出山，他也希望自己始终保有一种超脱的心态，不愿被世间的功名利禄所捆绑。
不过，这还不是李泌拒不为官的最主要原因。

事实上，李泌的真正动机要比这个深远得多。用明末思想家王夫之的话说，李泌之所以屡辞相位，是因为他心中怀有一种关乎唐室兴亡之“大机”。
众所周知，玄宗执政后期，最严重的问题就是“君轻爵位”而“人觊贵宠”。这两者是一枚硬币的两面。也就是说，皇帝既然滥封滥赏，不珍惜朝廷爵禄，百官当然只求谄媚皇帝，一心博取富贵荣宠。天宝末年，之所以内有杨国忠恃宠擅权，外有安禄山阴谋反叛，正是这一积弊导致的后果。
所以，李泌的“大机”，就是想铲除天宝政治的这种积弊。

具体言之，李泌是想通过自己的实际行动达成两个目的：一、为肃宗朝廷的文武百官树立一个榜样，使得“人不以官位为贵而贵有功，不以虚名为荣而荣有实”（《读通鉴论》卷二三）。也就是让官员们真正为国家和百姓做事，而不是唯上媚上，一门心思只想着升官发财。二、在此基础上，使肃宗朝廷至上而下都能养成一种“珍惜爵赏”“不贪荣利”的健康风气，为肃宗的中兴大业创造一个良好的开局。
毋庸讳言，以李泌一人之力，是很难改变一个时代的积习的，但是唯其如此，李泌的努力才更显得难能可贵。
能够得到李泌这种不世出的王佐之才，实在是肃宗李亨的幸运。李泌纵然改变不了一个时代的风气，但在辅佐李亨这件事上，他的智慧和才能还是绰绰有余的。

肃宗不以为然地说：“广平是长子，本来就是未来储君的当然人选，何必一定要居元帅之位？”
李泌说：“问题是广平王现在还没有正位东宫！如今时势艰难，人心所向都在于元帅，倘若建宁王大功既成，即使陛下不以他为储君，追随他立功的那些人岂能答应？太宗皇帝和太上皇当年发生的那些事，就是最典型的例子。”
肃宗闻言，不禁悚然一惊。
他一心只想着早日收复长安，却差点造成了一个严重的政治隐患。如果不是李泌及时提醒，他就酿成大错了。肃宗随即改变决定，把元帅的职务给了广平王李俶，命他统御诸将。

事后，建宁王李倓得知此事，马上向李泌当面致谢，说：“这正是我的心愿。”
李泌的这次劝谏，化解了一场兄弟阋墙的危机。
紧接着，他又对肃宗进行了一次劝谏，成功避免了肃宗与玄宗之间有可能产生的父子相猜。
有一天，肃宗和李泌在谈话，话题不知不觉扯到了李林甫身上，肃宗咬牙切齿地说，等到克复长安之日，一定要颁布一道敕令，将李林甫的坟墓挖开，焚骨扬灰，以泄心头之恨。李泌却大摇其头，说：“陛下方定天下，奈何找死人寻仇！李林甫现在不过是一具枯骨，无知无觉，陛下这么做，只能徒然显示圣德之不弘而已。更何况，天下降贼的人那么多，一旦听到此事，必然心生恐惧，这不等于阻断了他们的自新之途吗？”

肃宗大为不悦，说：“此贼过去千方百计要害朕，让朕朝不保夕。朕能够活到今天，全靠上天庇佑！李林甫当时也看你不顺眼，只是未及对你动手就死掉了，难道你想宽恕他？”
李泌道：“臣岂不知李林甫当年的所作所为，但臣考虑的不是这些。请陛下想一想，上皇君临天下近五十年，享尽太平欢乐，而今一朝失意，远走巴蜀。南方气候恶劣，而上皇年事已高，若听到陛下敕令，一定会认为陛下是因为当年韦妃被黜一事记恨他（天宝五年，李林甫一手炮制了韦坚谋反案，太子妃韦氏受到牵连，李亨被迫与韦氏离婚，韦氏随后削发为尼）。倘若上皇因此产生不安和愧疚，以致感伤成疾，那么陛下必然会被人指为‘以天下之大不能安君亲’，到时候，陛下何以自解？”

肃宗闻言，顿时如梦初醒，当即起身，仰天长拜，说：“朕根本没想到这些，是上天让先生进此忠言啊！”然后抱住李泌，涕泣不已。
李亨的表现虽然比较夸张，但也是有感而发的。
毕竟，李林甫是玄宗多年宠信的宰相，有道是打狗也要看主人，你李亨要是真的把他挫骨扬灰，那无异于是在扇玄宗的耳光，你让他老人家的脸往哪里搁？更何况，李亨作为一个自立门户的天子，极力淡化“擅立”的恶名犹恐不及，何苦再招惹世人非议，无端背负“不能安君亲”的骂名呢？假如不是李泌深谋远虑，及时进谏，李亨显然又要犯下低级错误了。

李泌处处以大局为重，知无不言，言无不尽，固然对肃宗有很大的帮助，但有时候也难免因直言极谏而得罪人。
比如肃宗朝廷刚刚从灵武迁至顺化不久，李泌就得罪了一个特殊人物。准确地说，这是一个女人。
她就是肃宗的爱妃张良娣。

【张良娣：这个女人有心机】
张良娣是一个来头不小的女人。
她的祖母和玄宗的生母窦氏是亲姐妹。玄宗年幼时，母亲窦氏被武则天派人暗杀，玄宗就一直由他的姨母，也就是张良娣的祖母照料。为了报答对姨母窦氏的养育之恩，玄宗即位后，把她的四个儿子全部擢为高官。张良娣就是窦氏最小的儿子所生。天宝中期，张良娣被选入东宫为妃。当时太子妃韦氏已于数年前被黜，加上张良娣本人“性巧慧，能得上意”，所以深受李亨宠爱。
玄宗逃离长安时，张良娣与太子随行。此时张良娣已身怀六甲，即将临盆，可她一直表现得非常坚强，默默忍受着颠沛之苦。据《旧唐书·后妃传》所载，当马嵬百姓“遮道请留”，劝太子不要入蜀时，张良娣也态度鲜明地“赞成之”。由此可见，张良娣很可能也事先参与了“父老遮留”这一幕的策划。

从马嵬分兵北上后，由于一路上不断遭遇危险，所以张良娣每晚就寝时，都会主动睡在外侧，把李亨挡在身后。李亨苦笑着说：“抵御寇贼，不是你们女人的事情，你何必睡外面？”张良娣却说：“现在的形势这么乱，殿下的卫兵又太少，万一出现紧急情况，妾身还可以替殿下挡一挡，以便让殿下从后门撤离。”
听到这样的话，李亨不可能不被感动。
到达灵武不久，张良娣腹中的胎儿呱呱坠地。可产后的第三天，张良娣就拖着虚弱的身躯，加入到了为战士缝制衣服的行列。李亨大为不忍，劝她安心静养。张良娣回答得很干脆：“这不是妾身静养的时候。”
李亨再一次被感动得一塌糊涂，从此更加宠爱张良娣。