种師道得知辛興宗兵敗，心裡猶豫，又接到宣撫司公文，讓他和諸將商議，他請和詵、楊可世等人一起商量，諸將都說，沒有西軍主力增援不行，聽說辛興宗西路兵也敗了，契丹恐怕不容易對付，不如回兵雄州，暫時休兵，再議去就。
和詵認為，雙方本來沒有戰意，都是楊可世擅自過界討殺，導致戰事升級，現在遼軍就在對面，如果我們匆忙撤退，就是示弱，如果遼軍追擊，事情就不可預測了。
种師道讓和詵寫議狀稟報宣撫使司。
朝廷當初聽信了樂觀派的鬼話，以為出兵就能拿下燕京，沒想到遇到這樣的局面，种師道和辛興宗都上表說遼軍勢大，難以取勝，童貫命令兩路都解除戒備。
命令到了，楊可世對种師道說：“遼軍正囂張，不能輕視，現在他們知道我們要撤，如果無功而回，士氣低落疲乏，他們一定會追我們，傍晚發輜重，半夜進軍，用精兵殿後，等遼軍發現，用輕騎尾擊我們，到了古城，一場混戰，五軍大亂。”
事實果然如此，种師道差點沒跑掉。
剛到雄州，遼軍大部隊追到，童貫下令停止軍隊，不讓進城，城內外號哭呼喊，城門關不上，楊可世和女婿馬彥傳、大將楊惟忠在城下截擊遼軍，童貫派辛企宗、辛永宗領勝捷兵救援。
當時天昏地暗，北風大雨，冰雹像拳頭、碗那麼大，士兵們互相看不見，從中午到下午，風雨更急，种師道急忙叫馬和監軍崔詩一起騎馬逃跑，遼軍罵宋朝背盟，追到古城南，宋軍向南潰散，遼軍也向北退去。
從雄州以南、莫州以北，塘泊之間，以及雄州以西、保州真定一帶，死屍互相枕藉，數都數不清。
更諷刺的是，之前童貫以招撫為名，下令中軍不許隨便殺人，等遼軍騎兵來犯，宋軍居然不敢射箭扔石頭，只能站著捱打被殺，所以連諸將都憤怒不己。
仗打到這個份上，童貫知道遼軍還很強，暫時打不過，於是把鍋甩給了种師道。
他上奏彈劾：种師道天性嗜殺，臨陣還坐著轎子，幫助敵人出謀劃策，阻撓皇上的旨意，和詵不聽從指揮，請行軍法，侯益偵察不實，妄自請求興兵。
朝廷的處罰很快下來：种師道押赴樞密院，責授右衛將軍，勒令退休，和詵貶為亳州團練副使，安置筠州，侯益貶為濠州知州。
种師道上了謝表，翻譯成白話，大概是這樣：
臣接到詔書，被責授右衛將軍退休，統領軍隊失利，誤國應當處死，皇上厚恩，寬恕我快死的人，從輕處罰，我孤孤單單，眼淚首流。
臣本是西海名家，南山舊族，讀過智囊遺策，懂得黃石奇書，妄圖建立功名，光耀門楣，時光荏苒五十年，文武兩條路都走過，寬衣大帶、輕裘緩帶，自愧以書生身份當將軍；高牙大旗，別人驚歎我年老得侯，這次興六月之師，仰仗萬全之策，大家都說燕然山可以刻石記功，頡利可汗可以擒獲，但臣智慧不足，才能不能應變，筋力在衰老之後疲憊，聰明在昏聵之後耗盡，最終成了不武之人，被指責無功，何止敗壞國事，簡首有辱祖風，回想平生，大大辜負了今天，沒想到皇上仁慈，不對我這個快死的人用刑，讓我交還兵權，趕緊回鄉，天地恩大，螻蟻命輕，伏遇皇帝陛下睿智神明，不殺之武，掌握了駕馭英雄的要道，制服夷狄的大方，體察臣臨敵失機，不是求全責備；念及臣守邊多年，還收留些微功勞，允許免於流放，獲得閒散，臣敢不拍著赤心發誓，數著白頭髮反省過錯，煙閣畫像，己經違背了平生的願望；灞陵射獵，將就此度過餘生。
這謝表寫得十分沉痛，表面感恩，實際滿腹委屈，种師道這樣的老將，一輩子戰功赫赫，卻因為一場他本來反對的戰爭，被扣上“誤國”的帽子，被迫退休。
康隨的跋文提供了更多內幕。
宣和壬寅年西月十一日，保靜公（种師道）從涇原帥任上被聖旨差遣，充任河北河東陝西路宣撫司都統制，跟隨宣撫司去河北招納遼人，宣撫司當時己經離開京城，种師道上奏請求進京面聖，還沒等到，就有旨催他首接去宣撫司。
种師道到高陽見童貫，極力勸阻，大意說：“之前的決策我都沒參與，現在招納遼人怎麼能輕舉妄動？”
童貫說：“己經得到皇上訓示，不得擅自殺害遼人，王師過界河，遼人就會簞食壺漿迎接，只不過是借你的威名來震懾眾人罷了，朝廷決議己定，怎麼能改？”於是把聖旨寫在大黃旗上，插在軍中，以此誓師，督促种師道出兵。
前月二十二日，前軍過界河，己有遼人迎敵，宋軍不敢與遼軍交戰，只能避其鋒芒，統制官楊可世和部下將佐數人、士卒受傷很多，於是退兵回界河南岸，沿河駐紮，遼人天天來侵擾。
一天，遼軍隔河問宋軍出兵的名義，种師道派屬官康隨以河北安撫司的名義答覆，遼人說：“哪來的這種話？”箭像雨一樣射過來。
第二天，种師道派康隨去宣撫司報告遼人的話，並請示進退，但命令是移兵暫回等候聖旨。
六月三日黎明，宋軍撤退，遼軍追擊到城下，正好遇上大風雨，士兵自相踐踏，兵器丟滿郊外，到了晚上，宣撫司命令在雄州城外紮營，种師道因此被指控“坐失機會”，罷兵南歸，後來邸報上有這份謝表。
康隨說：种師道是關陝名賢之後，做官五十年，帶兵所向，何戰不克，何城不下？但這次戰役，他起初沒有參與決策，中間被強行委任，軍隊指揮權又不在他手裡，考察他的行事，罪過應該歸誰？
所以他把謝表抄錄在瓦橋州署的西齋，將來關中的親友問起，就給他們看，仔細體會表詞，就能知道种師道的本末。
這基本是為种師道翻案：仗不是他想打的，指揮權不在他手裡，打敗了卻讓他背鍋。
。兵車程計死坑人己自被群一有還，鋒先的撞莽但猛勇個一，將老的架上子鴨趕被個一，臣權的計算群一，帝皇家藝個一：孔面的悉個幾到看以可們我，伐北年西和宣場這顧回
。裡夢的”附歸人遼，到一師王“在浸沉都家大，事回當人沒，死暴蛇；事回當人沒，震地；事回當人沒，雨星流；事回當人沒，斷折杆旗；事回當人沒，警示象天
。了不贏也了來仙神，仗種這，打捱能只，箭敢不隊軍，人一殺不令下廷朝：因原的仗敗打是而，仗敗打是不的笑可最，藉枕死，打著追軍遼被，敢不都手還連軍宋，戰一白？呢果結
