後世流傳最廣的“李白醉酒令高力士脫靴”典故，歷來被當作高力士心胸狹隘、記恨文人的佐證，但若對照正史與出土的高力士墓誌銘，便能知曉這是後世文學演義的誇張改編，與真實歷史相差甚遠。
史料之中，李白供奉翰林期間，的確曾借酒放浪，讓高力士為其脫靴，高力士當時並未當場發作，順從完成，事後也從未在玄宗面前詆譭、構陷李白。後來李白捲入永王李璘叛亂，被判死刑，滿朝文武無人敢為其求情，恰恰是高力士感念李白才華，多次在玄宗面前斡旋，最終將死刑改判流放夜郎，保住李白性命，何來記恨報復一說？
高力士清楚文人恃才傲物的本性，從不因一次失禮便懷恨在心，待人包容大度，這也是他能在複雜宮廷之中安穩數十年的核心特質。
除此之外，他雖手握宦官舉薦官員的渠道，卻不曾培植私人宦官勢力。同期與他同等受寵的宦官楊思勖常年領兵平叛，性情暴戾，喜好打壓同僚；袁思藝同為玄宗近侍，暗中勾結權貴，安史之亂爆發後直接投奔安祿山，對比之下，更顯高力士品性難得。
宮中大小宦官想要得到外派監軍、出使地方的美差，必須經過高力士點頭，可他選人只看心性、能力，不會收取半點賄賂，外派宦官在地方欺壓百姓、大肆斂財，一旦傳回訊息，高力士必定如實上報玄宗，下令召回懲處，絕不包庇同陣營宦官，宮中內侍大多敬畏他，卻無人真正怨恨。
有人私下問過高力士，手握如此大權，為何不趁機積攢私黨，給自己留後路。高力士的回答樸素卻通透：“陛下待我有再造之恩，我一身榮辱全系君王，若私心過重，結黨營私，便是辜負數十年信任，榮華富貴皆為虛妄，忠心本分，方能長久立足。”
這般清醒自持，在歷代權宦之中堪稱異類。劉瑾、魏忠賢之流手握皇權代理權便禍亂朝野，仇士良、魚朝恩掌控禁軍後欺壓帝王將相，唯有高力士，掌權半生，不貪、不黨、不專、不暴，將“近臣”二字的分寸拿捏到極致。
天寶十四載，范陽、平盧、河東三鎮節度使安祿山以“憂國之危”、誅殺楊國忠為名，起兵十五萬發動叛亂，安史之亂徹底爆發。承平數十年的大唐軍備鬆弛，叛軍一路勢如破竹，短短數月便拿下東都洛陽，兵鋒直指長安門戶潼關。
起初玄宗不願相信安祿山反叛，擱置高力士早年的警示，任命楊國忠統籌平叛事宜，楊國忠無治軍之才，胡亂指揮，逼迫守關大將哥舒翰出關迎戰，潼關失守，長安徹底暴露在叛軍鐵騎之下，城內百官百姓驚慌逃竄，大唐盛世轟然崩塌。
天寶十五載六月，潼關陷落訊息傳入皇宮，玄宗方寸大亂，楊國忠提議放棄長安，前往蜀地避難。深夜，玄宗帶著楊貴妃、宗室子弟、少量親信宦官禁軍悄悄出逃，滿朝文武四散奔逃，往日簇擁在帝王身邊的大臣、宦官大半各自逃命，唯有高力士放下所有私產，寸步不離跟隨玄宗，全程貼身護駕。
逃亡之路無比悽慘，昔日錦衣玉食的帝王后妃，連一頓飽飯都難以保障，沿途百姓早已四散躲藏，找不到糧食飲水。高力士不顧自身年邁，獨自前往村落尋找粗糧野菜，夜晚守在驛站門外持刀警戒，提防亂兵、盜匪偷襲，但凡玄宗有一絲不適，他整夜不敢閤眼照料。隨行宦官袁思藝中途趁機脫離隊伍，投奔安祿山，對比之下，高力士的忠誠愈發凸顯。
一行人跋涉數日，抵達馬嵬驛，隨行禁軍連日飢寒交迫，心中積怨盡數發洩在楊國忠兄妹身上。龍武大將軍陳玄禮暗中召集將士，直言天下大亂皆因楊國忠專權禍國，將士群情激憤，當場圍住驛站，亂刀斬殺楊國忠、其子楊暄，以及隨行的楊氏外戚。
誅殺楊國忠後，禁軍並未散去，層層圍住玄宗居住的驛館，高聲吶喊，要求處死楊貴妃。將士心中清楚，楊國忠是楊貴妃兄長，今日斬殺國相，若楊貴妃繼續伴於帝王身側，日後必定伺機報復，所有人都難逃一死。
玄宗走出驛門安撫軍士，痛哭流涕反覆辯解，楊貴妃久居深宮，從未乾預朝政，楊國忠作亂與她毫無關聯，苦苦哀求將士放過貴妃。滿場文武、禁軍將領無人敢接話，一邊是憤怒失控、手握刀兵的禁軍，一邊是痛不欲生、執意護愛的帝王，進退兩難之際，唯有高力士上前跪倒在地，含淚說出最現實、也最殘酷的一番話。
“貴妃誠然無罪，然將士已誅殺國忠，貴妃常伴陛下左右，將士心中豈能自安？軍心不安，則陛下安危難保。今日唯有安撫將士，方能保陛下平安入蜀，還望陛下三思。”
短短幾句話，戳破當下絕境的核心矛盾。江山、帝王性命與楊貴妃之間，只能二選一。玄宗沉默良久，淚水不斷滑落，終究明白沒有將士護駕，自己只會落入叛軍之手，萬般不捨之下，點頭應允。
奉命執行的人，依舊是陪伴他半生的高力士。高力士強忍心中酸楚，將楊貴妃引入驛站佛堂，遞上白綾，親手送這位集萬千寵愛於一身的女子走完最後一程。縊殺貴妃之後，高力士將遺體抬至驛站庭院，讓禁軍將士查驗，徹底平息兵變，混亂的軍心方才安定，大軍得以繼續護送玄宗前往蜀地。
一路抵達成都，蜀地隨即爆發南營叛亂，叛軍意圖劫持玄宗獻給安祿山，危急時刻，年過七旬的高力士親自執桴擊鼓，號令禁軍平叛，當眾喊話：“斬獲叛賊首級不計軍功，生擒者重賞！”正是這句命令，避免平叛過程中濫殺無辜，城中百姓免遭兵禍，叛亂很快平定。
平叛護駕有功，玄宗晉升高力士為開府儀同三司，加封齊國公，食邑增加三千戶，是宦官之中空前絕後的封賞。在成都避難的歲月裡，朝堂百官大多奔走於各方勢力之間，為自己謀求後路，唯有高力士日夜守在玄宗身邊，寬慰帝王因山河破碎、痛失愛妃產生的抑鬱愁苦，所有雜事一人包攬，從無半句怨言。
不久之後，太子李亨在靈武自行登基，即唐肅宗，尊遠在蜀地的玄宗為太上皇。叛亂逐漸平息，長安收復，肅宗派人迎接太上皇返回京城。重回長安的玄宗早已失去皇權，遷居興慶宮，看似安享晚年，實則處處受到新帝猜忌，昔日追隨玄宗的舊臣、宮人接連被調離，唯有高力士始終不離不棄，陪伴左右，成為太上皇唯一的精神依靠。
彼時朝堂新貴是肅宗心腹宦官李輔國，李輔國手握禁軍大權，一心打壓太上皇舊部，討好肅宗穩固自身權位。他多次在肅宗面前進讒言，聲稱太上皇與高力士暗中聯絡舊部，意圖復辟，慫恿肅宗削弱太上皇身邊勢力。
上元元年，李輔國假傳聖旨，強行逼迫太上皇遷居西內太極宮，途中派遣數百禁軍持刀圍堵車架，刀劍直指玄宗，年邁的玄宗受驚險些墜馬。隨行宮人、侍衛無人敢上前阻攔，唯有高力士挺身而出，直面手握兵權的李輔國，厲聲呵斥：“太上皇乃大唐先帝，你身為禁軍統領，怎敢持刀驚擾聖駕，速速撤去兵士！”
一番正氣凜然的斥責，震懾住在場禁軍，李輔國礙於輿論，只得暫時收兵，可此事徹底讓李輔國記恨高力士，下定決心除去這個眼中釘。沒過多久，李輔國羅織罪名，誣陷高力士私下勾結逆黨、暗中依附前朝兇徒，呈上彈劾奏摺，肅宗本就忌憚太上皇身邊舊人，當即下旨，將高力士削去所有官職，流放蠻荒巫州，身邊侍從僅允許十幾人隨行。
臨行之前，高力士專程前往太極宮與太上皇辭行，兩人相對落淚，半生君臣相伴，此刻被迫分離，無力改變分毫。玄宗無力庇護自己最忠心的近侍，只能眼睜睜看著高力士踏上前往湖南巫州的流放之路。
巫州地處西南蠻荒，常年瘴氣瀰漫，人煙稀少，流放官員在此大多染病離世。高力士抵達巫州之時，隨身攜帶的衣物糧草僅夠支撐數月，居住之地簡陋破敗，日日要忍受瘴氣侵蝕、蚊蟲叮咬，日子清苦到極致。
縱然身處絕境，高力士心中從未放下遠在長安的太上皇，每日早晚朝著長安方向跪拜祈福，期盼有朝一日能夠赦免回京，重新侍奉玄宗。流放途中偶遇同樣被貶謫的大臣第五琦，二人飲酒閒談，談及大唐盛世、如今山河破碎，高力士心中悲慼，當場賦詩一首：“煙燻眼落膜，瘴染面朱虞。”寥寥十字，寫盡流放歲月的滄桑苦楚。
身旁隨從見他終日憂愁，勸說他不必執著於早已失去權力的太上皇，不如順勢討好肅宗、李輔國，爭取早日回京。高力士只是搖頭，緩緩開口：“我自少年追隨太上皇，歷經兩場政變，相伴四十餘年，盛世榮華、亂世流離皆一同走過，君臣情誼早已勝過骨肉，豈能因落魄便背棄舊主？縱使終身流放巫州，這份忠心也不會更改。”
流放的兩年時間裡，高力士自耕自足，從不向當地官府索要特殊優待，當地官員感念他半生忠君，時常送來衣食，他大多婉言謝絕，不願給地方增添負擔。瘴鄉之中不少百姓聽聞他的故事，時常前來探望，高力士待人溫和，耐心傾聽百姓疾苦，力所能及接濟貧苦鄉人，在巫州民間留下極好的口碑。
。皇上太的邁年伴陪，安長到回快儘想只心一，程兼夜日，京返程啟裝行拾收刻即，狂若喜欣，令詔免赦到接士力高的十八近年。城京回返許允部全臣罪的地各放流，下天赦大宗肅唐，變大巨來迎局政唐大，年元應寶
。崩駕月當於已基隆李皇上太：耗噩安長來傳人行來往上路，時之整休，寺興龍州朗至行路一
。地在倒癱，鮮吐口場當，口心衝直痛悲的大巨，疲俱心就本路趕日連，哭痛聲放，向方陵泰安長朝面，前殿廟寺在倒跪他。盼期有所士力高碎擊間瞬，雷驚同如息訊個這
。歲九十七年終，去而宗玄唐的生半伴相隨追終最，日七食絕，進不水滴，哭痛夜日，懷釋法無終始士力高，勸方多，扶攙前上忙連從侍行隨
。寢陵宗玄葬陪許特，陵泰城西陝往送柩靈將人派，爵有所復恢，督都大州揚為士力高贈追旨下，烈忠其念，懟怨生心未從卻放流遭年晚，棄不離不主護生半，誠赤生一士力高曉知，基登豫李宗代唐後之久不。州朗於葬安時臨木棺辦置他為，財錢集籌發自，義忠生一他念姓百地當
。可認的高最誠忠世一他對是，榮殊份這，宦的陵皇王帝葬陪准獲位一一唯是士力高，間年百數唐大個整
。諾承的伴相生一了現兌，側王帝於眠長後死，路臣君年十數完走，宦名這獨唯，右左宗玄伴能沒都後死，貴權相將、臣大公王數無日昔
