隱居衡山期間，流傳下一段家喻戶曉的軼事——懶殘分芋。衡嶽寺中有一位名叫明瓚的僧人，行事怪誕，旁人喚他懶殘。懶殘每日做寺中雜役，撿拾眾人吃剩的殘羹果腹，寒冬睡灶邊，盛夏臥牛欄，一眾僧人都嫌棄他粗鄙邋遢，不願與之往來。
唯獨李泌看出此人深藏大智慧，不與世俗爭辯，特意深夜獨自前往衡嶽寺拜訪。彼時懶殘正蹲在灶臺邊，用幹牛糞烘烤芋頭，火光昏暗，見到登門跪拜的李泌，全然不予理睬，自顧自啃食煨熟的芋頭。李泌恭恭敬敬長跪不起，許久不曾起身。
懶殘見他心意誠懇，隨手將啃剩半顆滾燙芋頭丟給他，開口直言預言李泌未來：“慎勿多言，領取十年宰相。”
短短一句話，道破李泌往後半生仕途。李泌接過芋頭拜謝，心中瞭然，懶殘看似瘋癲，實則看透朝堂走向，預知他將來必定入朝拜相。這段奇遇也成為後世記載李泌人生軌跡的標誌性典故。
旁人談及李泌，總調侃他痴迷神仙方術，行事處處透著“仙氣”。李泌時常和山中友人閒談，說夜裡仙人洪崖先生會登門做客，吩咐童子提前清掃屋舍；有人贈送美酒，他便對外宣稱是麻姑仙女饋贈。賓客聽聞大多暗自嗤笑，只當他修道走火入魔，沉迷虛妄鬼神之說。
可很少有人讀懂，李泌口中的神仙，不過是他周旋世事的一層保護色。大唐中後期，宦官、權臣、藩鎮相互傾軋，帝王猜忌臣子，鋒芒太露之人大多不得善終。他故作沉迷修仙、看淡世俗權位的模樣，反而能降低朝堂各方勢力的防備之心，減少針對自己的構陷與猜忌。修仙是他的鎧甲，治國才是他的本心，出世之道用來保全自身，入世之才用來安定天下，二者從來互不衝突。
十二年衡山歲月，李泌並未兩耳不聞窗外事。山中常有往來官員、學子拜訪，各地藩鎮動靜、長安朝堂人事更迭，他全都瞭然於心，私下記錄朝政利弊，梳理邊防、民生、財稅的改良方略，藏書樓中堆滿他親手撰寫的策論，只待他日朝廷有難，再度出山救世。
寶應元年，長安政局鉅變。唐玄宗、唐肅宗先後離世，廣平王李俶即位，即唐代宗。代宗當年在靈武全靠李泌保全，對這位先生心懷感激，登基第一道詔令，便是派遣使者前往衡山，強行徵召李泌返回長安。
李泌推脫不得，只能收拾書卷離開南嶽，重回闊別十二年的京城。代宗見到李泌，欣喜萬分，當即授予翰林學士一職，時常召入宮中深夜議事，事事聽取李泌建議，打算將朝政託付給他。
可代宗朝朝堂黨爭遠比肅宗時期更加激烈，宰相元載手握大權，忌憚李泌深得皇帝信任，害怕李泌奪走自己相位，處處針對排擠，不斷上奏詆譭李泌喜好神仙虛妄、不堪重用。代宗受制於元載黨羽，無力強行庇護李泌，只能尋了個外放的由頭，將李泌調離長安，出任江南西道判官。
元載獲罪伏誅後，代宗再度召回李泌，可惜新任宰相常袞同樣忌憚李泌才幹，持續在皇帝面前進讒言。李泌接連被外放多地，先後擔任楚州刺史、澧朗峽團練使、杭州刺史。
即便身處地方州縣，李泌也從未荒廢政務。任職杭州刺史期間，當地常年水患頻發，百姓飽受洪澇之苦，李泌實地勘察水系，主持疏浚西湖，修築堤壩，劃分蓄水區域，規範農田灌溉，制定西湖管護條例，後世杭州水利治理，多沿用他當年定下的規制；同時減輕賦稅，安撫流民，興辦學堂，短短數年，杭州民生安定，百姓安居樂業，地方政績遠近聞名。
常年外放漂泊，李泌依舊保持進退自如的心態，不糾結於朝堂得失，地方為官便踏踏實實造福一方，閒時依舊靜坐修道，讀書著述。代宗在位十七年間，李泌數次入朝，數次外放，始終無法長久立足中樞，帝王有心重用，奈何權臣阻撓不斷，只能蟄伏地方，等待下一次亂世契機。
大曆十四年，唐代宗駕崩，太子李適登基，是為唐德宗。德宗即位之初銳意革新，卻性情多疑急躁，處事偏激，對內猜忌文武大臣，對外處理藩鎮、吐蕃外交接連失策，很快引爆大規模戰亂，大唐再度陷入危局，而這一次，已是花甲之年的李泌，終於迎來正式拜相、執掌朝政的時刻。
唐德宗建中年間，朝廷削藩政策操之過急，河朔、淮西藩鎮接連起兵反叛，四鎮之亂爆發，戰火席捲中原；涇原兵變中，叛軍攻入長安，德宗倉皇出逃奉天，朝中名將朱泚自立為帝，大唐江山再度搖搖欲墜。
戰亂平定之後，朝堂滿目瘡痍，內有藩鎮割據隱患，外有吐蕃連年入侵邊境，國庫空虛，將相之間互相猜忌，德宗疑心深重，對郭子儀、李晟、馬燧等平定叛亂的頭號功臣處處提防，君臣離心，朝堂無人能調和僵局。
貞元三年，局勢危急，德宗終於想起常年外放、胸有全域性的李泌，下急詔將時任陝虢都防禦觀察使的李泌召回長安，當日便拜中書侍郎、同中書門下平章事，正式授予宰相職權，加封鄴縣侯，世人自此稱其李鄴侯。此時李泌已六十六歲，歷經玄宗、肅宗、代宗、德宗四朝，半生隱居、半生幕僚，直至暮年才真正登上相位。
初入相位，李泌面對的第一道死局，便是帝王猜忌功臣。李晟、馬燧二人領兵平定朱泚叛亂，保全德宗性命，手握重兵，功高蓋世，德宗心中一直忌憚二人兵權過重，時常言語敲打，朝中官員也暗中挑撥君臣關係，稍有不慎便會重演歷代誅殺功臣的悲劇。
李泌特意單獨覲見德宗，直言剖析利害：大唐能夠保全，全靠李晟、馬燧二將拼死作戰，如今叛軍雖平，河北藩鎮依舊虎視眈眈，邊境吐蕃時時來犯，陛下若是猜忌、打壓有功武將，天下將士寒心，日後再有戰亂，無人願意為國死戰。
為打消德宗顧慮，李泌提議設宴，召李晟、馬燧一同入宮，君臣四人共處一席。宴席之上，李泌當眾訴說二將平定叛亂的蓋世功績，直言自己願以性命擔保二人忠心無二，勸說兩位將軍主動削減私兵，打消帝王兵權顧慮；同時勸解德宗放下猜忌，善待功臣，賞罰分明。一番推心置腹的交談過後，德宗心中芥蒂盡數消解，將相和睦，避免了一場內部屠戮。
內政之外，皇室儲位危機更為兇險。德宗太子李誦（日後唐順宗）性情仁厚，卻因太子妃生母郜國公主牽涉巫蠱案，被德宗遷怒。德宗心生廢太子之意，打算廢掉嫡子李誦，改立侄子舒王為儲，多次和李泌表露這個想法，言語間滿是殺意。
更換儲君乃是動搖國本的大事，滿朝文武知曉皇帝心意，全都閉口不敢勸諫，生怕牽連自身家族，唯有李泌屢次入宮死諫，與德宗爭執數十日。
德宗震怒，出言威脅李泌：“你如此執意袒護太子，難道不顧自己全族性命，不怕株連九族？”
李泌從容落淚，回稟陛下：“臣正是愛惜家族，才不敢不直言進諫。今日臣順從陛下，默許廢嫡立侄，將來陛下事後追悔，必定怨恨臣不曾勸阻，屆時陛下為洩心頭悔恨，定會誅殺臣的子嗣，臣一脈就此斷絕。況且天子以四海為家，儲君之事乃是天下根本，並非陛下私人家事。”
李泌細數前朝舊事，太宗、武則天時期皇子互相殘殺的慘劇歷歷在目，又講明嫡子傳承的禮法，郜國公主的過錯不該牽連無辜太子，即便太子確有過失，也應當廢儲改立皇孫，江山依舊在陛下子孫手中，萬萬不可傳位侄子，日後必定引發宗室爭權大亂。
君臣對峙數日，德宗從最初暴怒、威脅，到慢慢冷靜思索，最終幡然醒悟，痛哭流涕感謝李泌冒死勸諫，打消廢太子的念頭，保全了儲君，穩住大唐國本。這件事也成為李泌一生最驚心動魄的功績之一，敢於直面帝王怒火，以全家性命為賭注，阻止皇室骨肉相殘。
解決內部將相、儲君兩大難題後，李泌將重心放在邊疆外交，推出一套影響中唐百年的四方制衡戰略：北和回紇，南通雲南，西結大食，孤立吐蕃。
此前德宗早年受回紇羞辱，心中記恨，堅決不願與回紇和親通商，朝堂無人敢勸說。李泌逐條分析地緣局勢：吐蕃是大唐頭號邊患，常年劫掠河西、隴右百姓，回紇兵力強盛，地處吐蕃北方，雲南常年受吐蕃壓榨，心生怨恨，大食與吐蕃世代敵對。
。戰於免能便姓百疆邊，境邊唐大侵舉大再力無，敵面三蕃吐，下之圍合力勢方四。蕃吐擊夾側西從，食大域西合聯；給補草糧方南蕃吐絕斷，落部南雲攏拉安；力兵部北蕃吐制牽會便紇回，商通親和、約盟復恢紇回與，怨舊下放唐大若
。解緩大極到得年十數力防邊部西唐大，種耕鄉返以得民流右隴、西河，減幅大戰境邊，制牽方多被力兵蕃吐，後之地落略策外套這。約盟親和下定，紇回使出者使遣派，允應終最宗德。重為生蒼下天以，怨仇人私下放宗德導開覆反，次餘十書上後前泌李
。盾矛層階堂朝和緩，例比員門寒與家世衡平，士之才有門寒拔提，準標材選舉科頓整；力給供草糧隊軍解緩，度制田屯兵府化佳最；庫國盈充，支開靡奢廷宮減，構機餘冗宮皇簡；擔負戶農層底輕減，則規收徵稅賦方地整調。措舉良改項多行推樣同泌李，面方度制生民、稅財堂朝
。功大世濟掩不，疵瑕平生其是，談怪仙神好喜是只，稷社定安、遠深略謀泌李，價評觀客中》鑑通治資《在馬司。統臣大失有，妄虛迷沉相宰為認，議非文不來引也，象異神鬼論談常時上之堂朝，說之仙神、穀辟家道通篤終他；好喜主君合迎味一病詬家學史世後被，廷宮奉供礦石寶綠國採開，意心宗德從順曾他，載記料史分部。議爭無全非並間期政執泌李，人完無人
。風之學講院書世後啟開，一之院書人私的早最上史歷國中為也院書侯鄴，獻貢化文的學治書藏山衡泌李錄記，”軸萬三架，書多家侯鄴“句詩下寫愈韓；事之世濟家儒行之家道以，髓家三道釋儒兼一，師帝一第今古為其稱瑾懷南”。危唐則去泌，安唐則存泌“：言直史唐讀研之夫王。價評高極出給泌李對家名多諸世後
。相宰白的命續唐大為默默位這唐中略忽常常卻，將武的赫赫功戰樣這弼李、儀子郭悉，臣名國開類這徵魏、晦如杜、齡玄房知人世。生一的人奇朝四位這懂讀整完很卻，在存的泌李曉知才，必李的中》辰時二十安長《劇視影因人多很
。唐大護骨仙一，擋憑雨風朝四。朝生半林山生半，眼帝鴻驚歲七
。臣謀奇傳唐中的刻復可無、份一獨，泌李是便這
