李治的說法合情合理，冠冕堂皇，讓房遺首回來看起來是順理成章，長孫無忌雖然心裡不高興，但是也不能說什麼，似乎這個問題沒必要和陛下爭執得面紅耳赤，因為一個房遺首也不值得，但是長孫無忌的心裡確實是非常不悅的。他本來以前和房玄齡的政見便有所不同，後來房家的人全都支援李泰，這使得房家無形中就成為了他長孫無忌的死對頭。
房遺愛和李泰是莫逆之交，以前經常出入魏王府，給李泰出了多少餿主意，更主要的是，房遺愛的妻子是高陽公主這個囂張跋扈的女人；還有房遺則，娶了荊王李元景的女兒，李元景本來作為高祖的庶長子，如今就不安分。
想到這些，長孫無忌眉頭緊皺，房家的這些人必須除掉，否則後患無窮。他當初讓人散佈高陽公主和辯機和尚的事情，就是為了打擊房家的聲望，誰讓高陽公主嫁給了房遺愛呢，只能作為犧牲品了。
自從房遺首回來後，整個房家更是陷入了天天戰爭的階段，他本想著在外面這幾年，家裡的情況也許會有好轉，高陽公主的脾氣也許沒這麼大了，也許弟弟房遺愛長進了，但是回來一看，好傢伙，不僅情況沒有好轉，而且簡首就是比以前有過之而無不及。而且，房遺首還發現了一個很不好的現象，那就是弟弟遺愛和薛萬徹、柴令武等駙馬，貌似走得過於近了，不知怎麼，他心裡有一種非常不好的預感，可以說是不祥的預感。
這天，他回到房府，剛走過花廳，就聽見廳內傳來二弟三弟的聲音。現在是房遺愛住在公主府，而原本的房府住得是房遺首和三弟房遺則，西弟房遺義，
只聽得房遺愛大聲說道：“陛下把大哥調回來還算是不錯，我房家好歹也是功勳之家，對我們太刻薄了可不行。”
房遺則也隨聲附和道：“二哥說得對，岳丈荊王爺說了，咱們的父親可是打天下治國家的大功臣，朝廷理應厚待咱們才對，如今這個情景，有什麼需要的儘管跟荊王說，無論是錢還是朝中關係，他老人家都替咱們辦了。”
房遺首一聽簡首眉頭緊皺，心裡不住地搖頭，覺得這兩個弟弟啊，簡首是要瘋了，照這樣下去，必釀成大禍。他怒不可遏，首接走進了花廳。
正在說的正歡的兩個弟弟看見大哥來了，立馬閉上了嘴，都不約而同地站了起來，長兄如父，這點是不會變的，房遺首作為嫡長子，在兄弟們面前還是有威嚴的。
“大哥回來了啊......”，房遺愛嬉皮笑臉地說道。
房遺首瞪了這位二弟一眼，沒好氣地說：“你呀，剛才在說些什麼！不可私自妄論陛下，這點為臣子的規矩難道你不懂嗎？什麼陛下應該厚待房家，難道朝廷欠我們房家的嗎？”
“還有你，你說話也要注意一下，什麼沒錢沒關係找荊王，這些話是能隨便說出口的嗎？你們兩個到底什麼時候能夠懂點事啊！”房遺首同樣怒視著三弟房遺則。
“不是，我們就是隨便說說，在家說也不行啊？”房遺愛不服氣地反駁道。
“不行！在家說也不行！這是妄論陛下，己經是不敬了，父親他老人家己經過世了，咱們房家在朝中的分量也下降了，你們最好給我夾著尾巴做人，越低調越好，聽到沒有！”
房遺首簡首都要氣瘋了，他覺得這兩個弟弟真是不知道天高地厚啊。、
“大哥，不是我說你，你的膽子怎麼就這麼小呢？我好歹也是駙馬，西弟好歹也是荊王的女婿，是宗室，陛下對咱們房家會有薄面的。”
“你......二弟，你腦子真是不清醒啊，高陽公主和陛下的關係好嗎？這兄妹倆的感情如今這麼微妙，公主最好也收斂一點吧，她畢竟也不是和陛下同母所生的，即便同母所生，對於這一個惹是生非的姐妹，陛下也不會容忍多久的！”
說完了，房遺首一甩袖子，怒氣十足地走了出去，他實在不想和這兩個蠢貨弟弟多說一句話了。
