復位初期，唐中宗李顯對五王感恩戴德，事事多聽取幾人意見，桓彥範身居宰相之位，依舊保持剛直本色，但凡朝堂有錯、君主失度，必然直言上諫，從不顧及自身仕途。
他上任之後，第一件事便是整頓後宮干政苗頭。李顯早年被貶房州，常年依靠韋皇后陪伴扶持，復位之後對韋后極盡縱容，允許韋后一同臨朝聽政，大小國事都要詢問韋后意見，朝堂之上漸漸形成帝后共治的格局。
桓彥範一眼看穿隱患，立刻秘密上奏，引述歷朝女子干政導致王朝動盪的典故，勸諫李顯：皇后只能管理後宮內廷，不可干涉前朝政務，懇請陛下收回韋后臨朝參政的許可權，防止外戚、後黨勢力壯大，重蹈當年武氏篡唐的覆轍。
可李顯對韋后感情深厚，完全聽不進勸諫，表面敷衍安撫桓彥範，私下依舊放任韋后參與朝政。韋后本就野心勃勃，不甘居於深宮，與武三思私下往來頻繁，二人暗生私情，聯手把持朝政，朝堂權力格局悄然逆轉。
除此之外，李顯格外迷信方士巫道，打算破格提拔術士鄭普思擔任秘書監，另一術士葉靜能為國子祭酒。秘書監掌管皇家典籍詔令，國子祭酒是全國最高學府長官，都是清貴要職，交給只會占卜幻術的方士，滿朝文武譁然，卻沒人敢強硬阻攔。
又是桓彥範獨自站出來，連續上疏極力反對。他直言治國靠禮法賢臣，不靠方士妖術，鄭普思、葉靜能並無真才實學，只會蠱惑君主，若授予高官，只會讓天下讀書人寒心，有損朝堂公信力。李顯依舊置若罔聞，我行我素，依舊重用兩名方士。
接連幾次勸諫碰壁，桓彥範沒有就此閉口，反而越發頻繁地針對韋后、武三思一黨上書彈劾。他親眼看見武三思依靠韋后撐腰，不斷提拔武氏舊部，排擠當年參與神龍政變的功臣，朝中官員但凡依附五王，都會遭到明裡暗裡的打壓。
桓彥範多次聯合敬暉等人，面見李顯，請求貶斥、流放所有武氏宗親，剝奪武三思等人官職權力。李顯始終猶豫不決，一邊感念五王復國大恩，一邊又礙於韋后情面，不願懲處武三思，兩邊來回和稀泥，矛盾越積越深。
武三思心思縝密，深知五王一日不倒，自己便無法獨攬大權，於是聯合韋后，日夜在李顯耳邊詆譭桓彥範、張柬之等人。二人不斷挑撥君臣關係，刻意放大君主心中的忌憚：當年這群人能集結禁軍，帶兵闖入皇宮逼迫先帝退位，今日能扶持陛下登基，他日若是心生不滿，同樣可以集結兵力廢黜陛下，手握兵權、威望滔天的功臣，才是皇權最大威脅。
這番說辭精準戳中李顯內心最深的恐懼。李顯一生顛沛流離，極度看重手中皇權，最害怕有人效仿當年兵變，奪走自己的帝位。久而久之，他對五王的感激慢慢消散，取而代之的是深重猜忌與隔閡，對待桓彥範等人的態度日漸冷淡疏遠。
武三思抓住時機，設計一套完整的構陷計劃，打算逐步剝奪五王實權。他先勸說李顯，以尊崇功臣的名義，冊封五人為郡王，明升暗降：張柬之封漢陽王、敬暉平陽王、桓彥範扶陽王、崔玄暐博陵王、袁恕己南陽王，世人稱“五王”。
封王之後，朝廷下詔免去五人宰相實職，只保留郡王爵位，每月初一、十五上朝覲見，看似禮遇有加，實則徹底剝奪行政、軍政實權，五王從此遠離朝堂核心決策圈，再也無法直接制衡武三思與韋后。
桓彥範心中清楚這是明褒暗貶的圈套，卻無力扭轉君主心意，只能交出侍中相印，成了有名無實的扶陽郡王。昔日一同發動政變的夥伴，個個心灰意冷，朝堂局勢徹底落入武三思掌控。
武三思並未就此收手，第一步奪權完成，下一步便是徹底剷除五王，永絕後患。
神龍二年，駙馬王同皎痛恨韋后、武三思禍亂朝綱，暗中集結人手，打算誅殺二人，計劃提前洩露，王同皎被捕下獄。武三思抓住這個絕佳機會，捏造供詞，誣陷桓彥範、敬暉等五王全程知曉王同皎密謀，暗中參與謀反。
李顯本就猜忌五王，見到捏造的供詞勃然大怒，當即下旨貶黜五人：桓彥範貶瀧州司馬，其餘四人分別貶往崖州、竇州、白州、新州，全部削除郡王封爵，剝奪所有賞賜食邑。更羞辱人的是，李顯為了拉攏韋后，特意下詔令桓彥範改姓韋，歸入韋后宗族籍冊，以此羞辱打壓。
桓彥範接到改姓聖旨，內心屈辱萬分，卻無力反抗，只能暫時隱忍。等到貶謫詔書下發，即刻動身前往蠻荒嶺南。
一波未平一波又起，沒過多久，京城天津橋出現匿名告示，通篇書寫韋皇后穢亂宮闈、私通武三思的醜聞，全城百姓爭相圍觀，流言四起，皇室顏面掃地。
這件事本就是武三思自導自演的苦肉計，目的是嫁禍五王。他進宮面見李顯，一口咬定告示是桓彥範等流放之人暗中指使，刻意汙衊帝后，意圖動搖國本。李顯怒火攻心，當即下令誅殺五王族親，朝中重臣拼命上奏阻攔，又想起當年平定神龍政變時，曾經賜予五人免死鐵券，承諾免除死罪，這才改為終身流放，禁錮於嶺南蠻荒之地。
最終流放詔令下達：桓彥範流放瀼州，敬暉崖州，張柬之瀧州，崔玄暐古州，袁恕己環州，五人年滿十六歲以上子女全部流放嶺外，世代不得返回中原。
臨行之前，桓彥範回望長安皇宮，滿心悔恨。當初薛季昶勸他誅殺武氏餘黨，自己心慈手軟，如今落得流放蠻荒、全族牽連的下場，一切追悔莫及。他私下長嘆：“陛下當年做英王之時，我特意留下武氏讓陛下親自處置，如今奸佞橫行，功臣蒙冤，莫非真是天意難違？”
這份悔恨，伴隨他一路南下，去往瘴氣叢生、人煙稀少的嶺南。
武三思內心十分清楚，只要桓彥範五人活著留在嶺南，朝中同情功臣的官員便會一直存在，日後新君登基，極有可能召回五王平反，自己多年經營的權勢會瞬間崩塌。斬草必須除根，他下定決心，派人前往嶺南趕盡殺絕。
中書舍人崔湜，早年曾依附桓彥範，靠著五王舉薦才得以升官，見五王失勢，立刻倒戈投靠武三思，主動獻策，勸說武三思直接派遣使者攜帶矯詔，半路截殺五位流放郡王。
武三思詢問崔湜，何人適合擔當殺手，崔湜舉薦自己的姨兄嘉州司馬周利貞。周利貞早年依附張氏兄弟，當年被桓彥範彈劾貶官，心中積攢滔天恨意，一心想要報復，是最合適的執行人選。
周利貞即刻被提拔為右臺侍御史，手持偽造的皇帝誅殺詔書，快馬奔赴嶺南，沿著五人流放路線一路追殺。
五人結局悽慘，各有不同，其中桓彥範的遭遇最為慘烈。
年邁八十二歲的張柬之，流放途中聽聞周利貞前來追殺，悲憤鬱結，本就體弱多病，抵達新州不久便憂憤離世；六十九歲的崔玄暐體弱，受不了嶺南路途顛簸、溼熱瘴氣，還未抵達流放地，便在路上染病身亡，二人算是得到相對體面的結局。
。死而磨折刑酷盡，上追貞利周被部全，人三己恕袁、範彥桓、暉敬下剩
。憐乞分半有沒，來前詔矯持手貞利周到見，骨傲一舊依卻，悴憔形，舊破衫，涉跋途長月數過經剛範彥桓時彼。伍隊的範彥桓解押上撞面迎，界地州貴至行貞利周
。扯拉回來面地著沿，上之槎竹在拽拖人將，肢四範彥桓住捆牢牢索繩令下貞利周，刃刀同如緣邊片竹糙，槎竹的刺尖利鋒帶邊路下砍兵士下手。罰刑的忍殘其極出想他，範彥桓磨折了為，意殺飾掩不毫，恨怨年多積貞利周
。服屈有沒毫，力有鏘鏗語言，唐大禍賊斥痛，貞利周視怒是只，句一饒求口開有沒程全，醒潑水冷被又，去過迷昏得痛次數範彥桓。厥昏間瞬人讓以足痛劇，外晰清頭骨，面地浸鮮，落片皮，下之拽拖路一，破劃刺竹銳尖
。歲四十五僅年範彥桓，年一這。亡絕氣至直，打擊杖周範彥桓著對，棒持手兵士令下，休罷肯不舊依貞利周，息一奄奄剩只，盡乎幾皮範彥桓至拽拖覆反
。死打棒遭再後最，爛磨數盡甲指，食吞土泥挖刨手徒到苦痛己恕袁，忍難痛劇腑六臟五後之作發藥毒，葛野毒有用服量大他迫，己恕袁上追；死而剮萬刀千，刑酷遲凌以，暉敬上追，路趕續繼貞利周，範彥桓完決解
。念悼開公敢人無，勢權后韋、思三武懼畏卻，痛悲自暗臣大直正中朝，安長回傳息訊，手之人於死數盡，臣功國復的變政龍神發、唐李復匡位五，間之夜一
。倒顛底徹白黑堂朝，昇高步步倒反人之良忠害殘，間之時一，賜賞拔提重重，過喜大思三武，城京回返務任完貞利周
。冤鳴其為敢人無，敗衰底徹府王扶日昔，沒抄數盡產家中家，外嶺放流部全弟子族宗，埋掩地就草草，後之南嶺死範彥桓
。基登旦李宗睿唐立擁，佞眾一思三武、主公樂安、后韋殺誅，變政隆唐發主公平太合聯基隆李王淄臨，山江奪篡天則武仿效圖妄，主君殺毒主公樂安、后韋，崩駕顯李宗中唐，後之年數。沒埋久永會不道公但
。生一的國殉烈剛、忠盡國為他彰表，戶百二封實賜賞，”烈忠“號諡範彥桓贈追，產家沒抄還返，孫子的放流被還歸，爵部全復恢，反平底徹人等之柬張、範彥桓為是便事件一第基登，冤王五曉知來素宗睿
。祀秋千，側列位範彥桓，時之帝先祀祭王帝世後，庭廟宗中唐配同一，人五己恕袁、暐玄崔、之柬張、暉敬、範彥桓許准，勞功大巨的稷社唐李定安王五念，詔下基隆李宗玄唐，年六元開
。迴有終惡善，荒蠻於死，放流罪獲數盡來後，人等湜崔、貞利周的他害殘年當。榮哀後高最臣人予給，公三列位，徒司為範彥桓封追度再宗德唐，年三中建
