身居宰相之位，褚遂良依舊不改耿直本性，處理公務秉公無私，從不結黨營私。當時朝中分為兩派，一派以長孫無忌、褚遂良、韓瑗、來濟為首，堅守貞觀舊制，維護王皇后正統地位；另一派以李義府、許敬宗為主，趨炎附勢，迎合唐高宗心意。褚遂良手握大權，卻從未打壓異己，僅以禮法制度評判政務，待人謙和有禮，朝堂百官大多心悅誠服。
看似一帆風順的朝堂之下，暗流早已湧動。唐高宗早年在感業寺與曾經侍奉唐太宗的武才人（武則天）重逢，念念不忘，王皇后為打壓蕭淑妃，主動勸說皇帝將武則天接入宮中。入宮後的武則天心機深沉，擅長籠絡帝王心意，短短數年，從昭儀一路扶搖直上，生下皇子李弘，漸漸取代皇后與其他妃嬪，獨佔唐高宗寵愛。
永徽六年，矛盾徹底爆發。唐高宗下定決心，廢除出身名門、無子嗣的王皇后，冊封武昭儀為新後，朝堂巨大風暴，自此席捲而來，褚遂良人生悲劇，正式拉開序幕。
永徽六年初秋，唐高宗秘密召見長孫無忌、褚遂良、李積、于志寧四位核心重臣入內殿，私下商議廢王立武之事。四人提前收到訊息，出宮前私下商議對策，誰都清楚這件事觸碰禮法底線，勸阻必定觸怒帝王，無人願意第一個開口頂撞。
眾人互相推諉之際，褚遂良主動站出來攬下最難的差事：“先帝將陛下託付於我，我身負輔政重任，倘若今日明知此事不合禮制，卻閉口不言，百年之後，我無顏面去九泉之下拜見太宗皇帝。今日第一個進諫之人，便是我。”
四人進入內殿落座，唐高宗開門見山，丟擲廢后理由：“皇后王氏沒有生育皇子，犯下最大過失便是斷絕皇室子嗣；武昭儀已經誕下皇子，朕心意已決，打算廢掉王皇后，立武昭儀為後，諸位愛卿以為如何？”
話音剛落，褚遂良立刻起身，上前一步朗聲回奏，條理清晰，字字鏗鏘：
“王皇后出身名門望族，是當年先帝太宗親自為陛下挑選的正妻。先帝臨終之時，特意拉著微臣與長孫太尉的手，將陛下與皇后一同託付給我們，這番場景，陛下當年就在場，必定記憶猶新。這麼多年，臣從未聽聞皇后犯下半點過錯，沒有理由輕言廢黜。臣絕不曲意逢迎陛下，違背先帝臨終囑託。”
唐高宗聽完，臉色沉了下來，反覆辯解皇后無子的弊端，褚遂良寸步不讓，當天的商議不歡而散，君臣不歡收場。
第二天，唐高宗再次召集四人議事，執意推進廢后之事。褚遂良見帝王毫無迴轉之意，只能丟擲最尖銳、也是高宗最忌諱的核心痛點：“陛下若執意想要更換皇后，天下名門女子眾多，大可另行挑選，萬萬不可選擇武昭儀。武昭儀曾經侍奉先帝太宗，這件事天下百姓人盡皆知，白紙黑字記錄宮中起居，若是陛下立她為皇后，後世史書、天下萬民該如何看待皇室？此事實在有損陛下名聲，萬萬不可施行！”
這句話直擊唐高宗的心虛之處，他瞬間羞愧沉默，說不出一句反駁的話。褚遂良見帝王依舊沒有放棄的意思，內心悲憤交加，繼續叩首進言：“臣愚鈍，今日直言衝撞陛下，死罪難逃，但臣只求守住先帝託付的道義，早已將自身性命置之度外。”
說完，褚遂良摘下頭上官帽，雙手捧著上朝記事的象牙笏板，放置在大殿臺階之上，叩首不止，額頭撞擊青磚，鮮血順著臉頰流下，場面觸目驚心：“今日臣將笏板歸還陛下，願辭官歸鄉，懇請陛下成全。”
唐高宗見老臣以死相逼，當場暴怒，厲聲喝令殿前侍衛，將褚遂良強行拖拽出去。
此時內殿珠簾之後，武昭儀一直躲藏偷聽全部對話，聽見褚遂良直言她侍奉先帝的過往，還當眾棄官死諫，心中恨意滔天，隔著簾子厲聲高喊：“何不撲殺此獠！”翻譯過來便是：為什麼不直接殺掉這個老匹夫！
一句殺心畢露的怒吼，響徹大殿，在場大臣無不驚駭。國舅長孫無忌連忙上前跪拜求情，才暫時保住褚遂良性命，可帝王、武昭儀心中，已經將褚遂良視作眼中釘、肉中刺，再也無法調和。
這次殿廷對峙結束，四位重臣立場徹底分化：褚遂良、長孫無忌、韓瑗、來濟堅決反對廢王立武；于志寧膽小怕事，全程沉默不敢表態；英國公李積看透帝王心意，事後單獨面見高宗，說了一句扭轉全域性的話：“立後廢后乃是陛下家事，何必特意詢問外朝大臣？”
有了軍方實權人物李積的默許，唐高宗徹底放下顧慮，不再忌憚託孤老臣的反對。許敬宗、李義府等投機官員順勢迎合帝王，不斷上書請求冊封武昭儀為皇后，朝堂風向徹底逆轉。
永徽六年十月，唐高宗下詔書，廢黜王皇后、蕭淑妃，貶入冷宮；正式冊封武昭儀為皇后。與此同時，褚遂良率先遭到清算，一紙調令，免去尚書右僕射宰相之位，外放潭州擔任都督，遠離長安權力中心。
昔日先帝倚重、權傾朝野的宰相，一朝淪為地方外官，褚遂良清楚，自己堅守禮法的選擇，終究換來帝王與新皇后的記恨，流放之路，僅僅只是開端。
永徽六年褚遂良被貶潭州（今湖南長沙），距離長安千里之遙，武后依舊不肯罷休，時時刻刻記恨大殿上那句戳破她過往的諫言，暗中授意親信官員羅織罪名，持續打壓褚遂良及其同盟。
顯慶二年，西元657年，朝廷一紙調令，褚遂良再次被貶，調任桂州都督，桂州地處今日廣西桂林，在唐代屬於南疆蠻荒之地，氣候溼熱瘴氣瀰漫，相比潭州更加偏遠艱苦。
僅僅數月，許敬宗、李義府按照武后授意，憑空捏造謀反罪名，誣告侍中韓瑗、中書令來濟勾結桂州的褚遂良，暗中圖謀叛亂，意圖起兵顛覆朝廷。唐高宗本就對褚遂良心存不滿，沒有仔細核查案情，直接下詔重罰。
一紙殘酷詔令下達：韓瑗流放振州，來濟流放台州；褚遂良連貶三級，廢除全部官職爵位，流放愛州。
愛州，也就是如今越南北部清化一帶，在唐代屬於中原認知裡的化外異域，遠離國土核心，路途萬里，沿途山林遍佈瘴毒、猛獸，發配至此的官員，十有八九無法活著回到中原，等同於變相賜死。
彼時褚遂良已經六十二歲，年過花甲，常年朝堂操勞本就體弱多病，還要獨自踏上萬裡流放之路。一路翻山越嶺、渡江涉河，沒有僕從隨行，飲食粗劣，溼熱瘴氣不斷侵蝕身體，抵達愛州之時，老人已經形容枯槁，滿身病痛。
即便身處絕境，褚遂良依舊沒有放棄求生的希望，他提筆寫下一篇數千字的《陳情表》，託當地官員輾轉遞交給唐高宗。陳情表中，他細數自己一生功績：隋末歸唐追隨秦王、貞觀年間伴駕侍書、勸阻封禪、勸諫親征、敲定儲君李治、先帝病床前受託草擬傳位詔書，一樁樁一件件，細數數十年忠於李氏皇室的付出，言辭懇切，祈求帝王念及託孤舊情，允許自己返回中原，回鄉安度晚年，不求復官，只求埋骨故土。
這封飽含血淚的陳情奏疏送到長安，唐高宗看完內心略有動容，可武皇后日夜在旁吹風，不斷訴說褚遂良當年大殿羞辱自己的舊事，反覆提醒帝王此人固執難馴，若召回長安，日後必定再生事端。最終，唐高宗壓下心中愧疚，對褚遂良的陳情表置之不理，沒有任何批覆，石沉大海。
苦等朝廷回信數月，毫無音訊，褚遂良徹底明白，帝王早已拋棄自己，此生再也沒有重返中原的機會。愛州偏僻閉塞，訊息隔絕，朝中不斷傳來壞訊息：長孫無忌被誣告謀反，被逼自縊身亡；韓瑗流放途中被害；當年所有反對廢王立武的老臣，全部遭到清算屠戮。
。生一束結草潦，臣重孤託觀貞、家大法書代一，唁弔來前員廷朝有沒，伴相人親無邊，荒蠻遠偏在死零零孤，世離病重地之放流州在，良遂褚的歲三十六，年956元西，年四慶顯。日一如不日一，病染氣瘴年常上加，絕痛悲心良遂褚，援救力無，域異在遠己自，死慘數盡僚同的政輔同一日昔著看
。零凋乎近，門名香書年十數，創重遭慘族一氏褚，死令下廷朝被途中子兒年個兩，荒蠻放流，罪獲連牽部全孫子的原中在留他，爵有所良遂褚除削底徹，詔下次再廷朝，後之久不。散消有沒舊依意恨后武，死良遂褚
。解辯聲發他為敢人無下上野朝，土故歸迴得不，放流續持弟子族家，名汙的”臣朝結勾、上聖逆忤“負揹，年十五近達長，後之州死客良遂褚
。反平式正予給、爵的他復恢未並廷朝但，錮族家除解良遂褚為步初是算，業產籍戶復恢，鄉家回返部全許允，孫子的放流人等忌無孫長、瑗韓、良遂褚，屬親臣大眾一的罪獲後立對反因年當免赦，詔下留，重過戮殺生一知自，際之留彌天則武。位復顯李宗中唐立擁，變政龍神發人等之柬張，重病天則武，年507元西，年元龍神
。臣老直耿名這給還於終，白清的年百到遲，年餘十二百一去過經已，世離良遂褚離距，此至。心本的忠盡國為他可認底徹，功大國輔其認承，列並臣名觀貞國開等徵魏、晦如杜、齡玄房與，閣煙凌於掛懸像畫良遂褚將，績功直忠朝兩徽永、觀貞良遂褚念，臣功代前定評廷朝，間年中建宗德唐，年十數過又
。高越來越價評，移推時著隨至甚，搖未從年百千，位地的上史法書在良遂褚，怨恩堂朝開拋
。髓法筆的他鑑借收吸部全乎幾，家法書代唐世後，師宗心核的承傳、化教書楷代唐個整是良遂褚是思意，”主化教大廣之唐為書南河褚“：價評》概書《論書代清。家大法書等浩徐、權公柳、卿真世後發啟接直，限侷的重厚板刻書楷初唐破打，靈膩細條線，生相實虛法筆，韻氣的展舒和書隸加，角稜的剛於過化弱，構結整規書楷唐初、代隋收吸，法筆逸飄王二晉魏合融他。用作心核的下啟上承到起良遂褚，中之稷薛、良遂褚、南世虞、詢歐家大四唐初
。肩比之與能人無，格風家獨自，韻古書隸兼書楷，傳真法筆之羲王得最良遂褚，裡家名法書多諸代唐，言直是更仁友米；中之墨筆於藏骨風，展舒容從作，馬戰馭駕手騎練老同如筆運其稱，法書良遂褚讚盛獨唯，判批有多家法書代唐評品，剔挑來素芾米家名法書宋北
。展發法書代當響影舊依，時年百三千一越，骨風墨筆的他，褚習研會多大，者書楷學初，構機訓培、校院法書地各國全今如。本範讀必摹臨法書世後是都卷一每，》碑齡玄房《》碑龕佛闕伊《》經符字大《》贊寬倪《有還，》序教聖塔雁《的曉戶喻家了除，帖碑典經良遂褚的今至傳流
。妄舉輕敢不也，野朝傾權便即后武，帝先代兩定否於同等，毀損是若，刻碑方家皇於屬，文製宗高、宗太載承刻碑塊這。碑石》序教聖塔雁《的塔雁大於立他掉毀法無卻，族家的他算清，良遂褚打心一后皇武年當，是的趣有
。時的同不然截段四為分劃晰清生一，堂朝徽永、世盛觀貞、世末隋橫，生人年三十六短短良遂褚，州疆南死客年956元西，家世香書南江生降年695元西
。局結涼悲得落，戮屠遭慘族家，域異死孤年之甲花，路之放流續連啟開，權皇諫死法禮守堅，爭之后廢場一年六徽永；峰頂重雙藝與力權生人來迎，刻碑書楷世傳下寫，世治和平創開，相宰居年初徽永；臣之孤託的任信最宗太為，基君儲唐大住穩，諫敢言直，臣重樞中至升路一郎居起從，野視王帝進走法書手一藉憑，間年觀貞；心的緻細謹嚴磨打，法書史文耕深頭埋，伏蟄世，右隴、北西轉輾父隨，期時年
