開戰前夕，隨軍宦官邢延恩屢次催促房琯速戰速決，逼迫唐軍主動出擊。房琯本打算堅守陣地，等待南軍趕到匯合後再發起總攻，奈何宦官不斷施壓，加之自己急於建功，只能倉促下令列陣迎敵。
面對叛軍衝擊力極強的鐵騎，房琯翻遍古籍，尋到春秋時期車戰之法，自認找到了剋制騎兵的制勝法寶。他立刻下令徵集兩千餘輛牛車，將所有牛車排列在陣地最前方，作為移動屏障，步兵分列牛車兩側，少量騎兵殿後，依靠厚重牛車阻擋戰馬衝鋒，幻想復刻上古戰車破敵的輝煌戰績。
這套戰術只存在於千年前的古戰場，早已被後世兵家淘汰，有著致命缺陷：牛天性膽小，懼怕巨響、明火，戰場廝殺鑼鼓震天、戰火紛飛，極易受驚失控；牛車笨重遲緩，轉向困難，一旦陣型混亂，根本無法收攏，只會自亂陣腳。軍中不少老將私下勸阻房琯，直言此法不合當下戰場形勢，萬萬不可使用，可房琯篤信古籍不會出錯，一意孤行，駁回所有勸諫。
安守忠站在叛軍高地，遠遠望見唐軍鋪展開的牛車大陣，起初十分詫異，短暫錯愕後忍不住放聲大笑。征戰多年，他從未見過如此荒唐的佈陣方式，瞬間摸清唐軍主帥是不通兵事的書生，心中已然定下破敵之計。
開戰當日，風向恰好吹向唐軍陣地，安守忠分兵兩路，騎兵悄悄迂迴唐軍兩翼，正面陣地士兵同時擂動巨鼓、高聲吶喊，製造震天動地的聲響。
震耳欲聾的鼓聲直衝牛車陣，陣前耕牛瞬間驚慌失措，四蹄亂蹬，韁繩斷裂，兩千多頭牛徹底失控。受驚的牛車不再向前衝鋒，反倒掉頭瘋狂衝撞身後己方步兵，厚重車廂橫衝直撞，踩踏士兵，唐軍陣型頃刻間四分五裂，士兵躲閃不及，死傷無數。
趁唐軍大亂，安守忠下令士兵點燃備好的柴草、魚油，無數火把、火箭順風拋向牛車。乾燥木車遇火瞬間燃起熊熊烈焰，大火順著風勢席捲整片唐軍陣地，火光沖天，濃煙遮蔽視線，士兵被烈火圍困，自相踐踏、哭喊哀嚎，場面慘烈至極。
叛軍鐵騎趁亂全線衝鋒，衝入潰散的唐軍之中肆意砍殺，中軍、北軍五萬大軍折損過半，屍骸鋪滿陳濤斜荒野，鮮血浸透泥土，殘存士兵四散奔逃，副將劉悊走投無路，直接投降叛軍。
戰敗訊息傳回大營，房琯悲痛萬分，卻依舊不肯承認古法戰術出錯，歸咎於兩軍配合不足，等待南軍楊希文部抵達後，再次收攏殘兵，重整軍隊，三日之後再度與安守忠叛軍開戰。
第二次交戰，房琯依舊沿用牛車舊陣，絲毫沒有吸取前車之鑑。安守忠故技重施，擂鼓縱火，唐軍再度大敗，剩餘殘兵徹底潰散，南軍統帥楊希文率眾投降叛軍。
短短三日兩場血戰，朝廷交付房琯的五萬精銳，戰死四萬餘人，大量軍械糧草盡數落入叛軍之手，關中防線遭受毀滅性打擊，收復長安的計劃徹底落空。訊息傳回靈武朝堂，滿朝文武譁然，舉國上下一片悲痛，蘇軾後世讀到這段歷史，提筆感慨：“房次律敗於陳濤斜，殺四萬人，悲哉！”
慘敗之後，房琯身著素服向肅宗請罪，等候朝廷懲處。肅宗心中又氣又惋惜，念及房琯本心為國、早年忠心勤王，沒有下令處死，僅免除兵權，保留宰相職位，令他返回靈武繼續主持政務，這場慘重戰敗，雖未立刻奪去相位，卻徹底擊碎肅宗心中對房琯的信任，朝堂之上，針對房琯的彈劾、非議接踵而至。
北海太守賀蘭進明入京覲見肅宗，皇帝詢問他對房琯擔任宰相的看法，賀蘭進明直言不諱，一針見血點出房琯兩大致命問題。
第一，房琯生性疏闊，空談義理，缺乏務實理政、治軍才能，如今大唐正值中興平叛關鍵時期，急需實幹能臣，這類只會引經據典、紙上談兵的文人，不堪宰相重任。
第二，當初房琯在成都為太上皇草擬分鎮天下詔書，建議派遣諸位皇子分別統領各地節度重兵，肅宗僅分得朔方、河東等貧瘠邊地，永王、豐王手握富庶重鎮兵權。賀蘭進明斷言，房琯此舉心思不純，想要各方皇子勢力相互制衡，無論哪位皇子最終平定天下，房琯都能保全自身富貴，並非真心忠於肅宗。
這番話精準戳中肅宗內心隱憂。當初永王李璘手握重兵起兵叛亂，給肅宗造成巨大政治危機，肅宗本就對分鎮詔書耿耿於懷，經賀蘭進明一番剖析，心中猜忌、不滿盡數爆發，自此開始刻意疏遠房琯，朝堂議事極少採納他的建議。
與此同時，宰相崔圓依靠賄賂宦官李輔國，深受肅宗寵信，與房琯政見不合，二人矛盾日益加深，崔圓時常在皇帝面前隱晦詆譭房琯。內外夾擊之下，房琯處境愈發艱難，可他依舊不改往日作風，每日在家中與劉秩、嚴武一眾文人暢談老莊、佛經虛無之說，常常稱病不上朝，朝堂事務盡數擱置，輿論非議越來越多。
房琯為人重情義，喜愛結交文人雅士，家中常年賓客滿堂，他十分擅長彈琴，與樂工董廷蘭相交甚密，時常留董廷蘭在家中撫琴閒談。董廷蘭仗著宰相寵信，私下收受官員賄賂，斂財無數，被御史衙門當場查獲，彈劾文書直達御前。
肅宗本就對房琯積怨已久，見到彈劾奏章，怒火徹底爆發，當庭嚴厲斥責房琯縱容親信貪贓枉法。房琯當庭為董廷蘭辯解，懇請皇帝從輕處置，肅宗愈發憤怒，厲聲將他驅趕出宮。至德二年五月，一紙詔令下發，罷免房琯宰相之位，改任太子少師，清閒散官，不再參與中樞核心政務。
房琯罷相一事，牽動一位千古詩人的心——時任右拾遺杜甫，與房琯是多年布衣之交，深知房琯本性忠誠，貪腐一事過錯全在樂工，不應以此罷免一國宰相。杜甫直言上書肅宗，勸諫皇帝大臣罪責輕微，不宜輕易罷免，這番進言惹怒肅宗，險些引來殺身之禍，杜甫自此仕途一蹶不振，兩人深厚友誼，也成為大唐文壇一段唏噓往事。
至德二年九月，唐軍聯合回紇兵馬收復長安，十月收復洛陽，兩京重回大唐掌控，肅宗率領百官自靈武返回京城。論功行賞，房琯因早年追隨太上皇、持冊赴靈武舊功，進封清河郡公，看似榮光加身，實則依舊被皇帝冷落，僅保留太子少師虛職。
當時朝中不少文武官員紛紛上奏，聲稱房琯兼具文武之才，應當重新啟用主持朝政，房琯本人也自認滿腹治國謀略，平定叛亂、安撫天下非自己不可，時常與好友私下暢談，流露重掌相權的心思。這些話語被政敵刻意收集，當庭上奏肅宗，皇帝得知後心中更加厭惡，認定房琯虛浮狂妄、結黨營私，全無大臣沉穩持重的氣度。
房琯絲毫不懂收斂，罷相之後依舊每日邀約劉秩、嚴武等人在家宴飲清談，動輒稱病缺席朝會，絲毫不顧及帝王猜忌。乾元元年六月，肅宗下定決心，下詔書細數房琯結黨空談、荒廢政務罪狀，將其外放，貶為邠州刺史，同時將劉秩、嚴武等親近文人一併貶黜，下發詔令通告全國，警示百官不得效仿。
離開長安繁華朝堂，前往邠州赴任，反倒成了房琯仕途的轉折點。邠州常年駐紮大量軍隊，地方軍政大權全部由武將掌控，法度鬆弛混亂：官署房屋全部用來安置士兵，當地官吏強行侵佔百姓宅院辦公，軍民混居摩擦不斷，百姓常年飽受侵擾，州縣治理一團糟。
房琯抵達邠州後，大刀闊斧革新地方弊政，重新梳理軍政分離制度，劃定軍營、官署、民居明確界限，勒令官吏歸還侵佔百姓房屋，恢復州縣完整律法規章，約束駐軍不得騷擾民間。短短數月，邠州秩序煥然一新，百姓不再受兵馬侵擾，安居樂業，民間稱頌房琯治理賢明，出色治績一路傳到長安，肅宗聽聞，心中偏見稍稍緩和。
乾元二年六月，朝廷下旨褒獎房琯地方功績，將他召回京城，拜太子賓客；上元元年四月，升任禮部尚書，重回六部高官行列。好景不長，朝堂政敵依舊不斷詆譭，沒過多久，房琯再度外放，先出任晉州刺史，同年八月改任漢州刺史，長期遠離京城權力漩渦，安穩治理地方州縣。
任職漢州期間，發生一樁飽受時人議論的私事：房琯長子房乘自幼雙目失明，古代世人眼中，盲眼子弟婚嫁本就艱難。漢州司馬李銳與房琯交情深厚，房琯拿出財物贈予李銳，請求對方促成房乘迎娶李銳外甥女盧氏。此事流傳開來，不少朝臣譏諷房琯身為前宰相，為盲眼兒子聯姻刻意賄賂地方官員，有損士大夫清高氣節，成為他一生為數不多的汙點。
拋開這件私事，房琯在漢州執政依舊公允寬厚，輕徭薄賦，修繕城池水利，安撫流離難民，蜀中百姓對他十分敬重。多年外放州縣生涯，讓房琯褪去朝堂空談傲氣，切實接觸底層民生，早年理想化的治國思路，多了幾分貼合民間現實的變通，只是當年陳濤斜四萬將士的慘劇，始終是他心中無法抹平的愧疚，終生不再主動提及軍事戰事。
。列序文級品高最廷朝回重，書尚部刑、進特授，京回琯房召徵旨下，隙嫌堂朝往過計不，績功的武靈冊持、王勤里千期初之史安他楚清，直正心忠琯房曉知年早宗代。基登豫李宗代唐，逝病宗肅唐，年二應寶
。路趕續繼力無，床臥病重然突琯房，時舍僧間山座一經途，州閬經途上北路一。安長赴奔，程啟刻即他著撐支喜欣的用重廷朝獲重可，病下積已早，謫貶波奔年常，歲七十六已年，州漢在琯房，時令詔召徵到接
。外城州閬葬安其將人家許允，榮哀後死公三品一予給，尉太贈追，國為生一他念宗代唐，安長至傳息訊。歲七十六年終，逝病舍僧州閬於，琯房相宰前的失過大重與能賢兼、生半浮沉中戰在，日四月八年元德廣
