封閉測試開始於1996年10月。
參與者二十一人，來自三所高校：研究生、圖書管理員、實驗室助教和兩名網路中心管理員。每人提交五個真實問題，不要求使用標準關鍵詞。
第一天，馬飛騎車送出三隻牛皮紙袋。裡面是測試說明、回郵信封和編號表，唯獨沒有推薦關鍵詞。蘇雨桐堅持不去現場指導，免得測試者看他們臉色調整問法。
有位老圖書管理員不會用滑鼠，讓值班學生替她輸入，自己只負責判斷結果。她的五個問題寫在舊目錄卡背面，字很工整，其中一個只記得“八十年代，有個外國人寫衛星姿態，小藍皮書”。系統對這種描述幾乎無能為力。
一百零五次查詢中，系統崩潰四次。
第一次崩潰發生在北航機房，測試者以為自己按錯了鍵，連著重試三遍，製造了三份相同故障。馬飛趕到時沒先重啟，而是讓管理員把機器留在原樣，給那名學生換一臺繼續。學生等了二十分鐘，仍把剩餘四個問題做完，臨走在表上寫：崩了以後最好告訴我該不該再按。
星辰隨後增加錯誤頁：顯示故障編號、是否需要重試和反饋地址。這個頁面不提高任何相關率，卻在後兩次故障裡阻止了重複請求繼續擠壓伺服器。
首條結果被多數測試者判定相關的有五十八次。
完全沒有可用結果的有二十七次。
最糟糕的一次查詢是“哪裡能找到微小衛星姿態控制的國外資料”。系統把“微小”切成兩個單字，又把“姿態”與個人主頁裡的“生活姿態”匹配，第一頁幾乎全是無關內容。
另一類問題來自重複頁面。同一份論文目錄被多個站點映象後，佔據前十條中的七條。使用者以為結果很多，實際上只有一份資訊。
陳維明看完資料：“六成能用，已經可以宣傳。”
蘇雨桐搖頭：“測試者知道這是實驗，會主動換詞。普通使用者第一次找不到就走了。”
馬飛沒有站在任何一邊。
他把梁經理那套客戶系統的驗收表放在旁邊。企業客戶能為明確欄位付錢，陌生使用者卻不會因為公司缺現金就降低要求。陳維明願意先用“六成”吸引關注，並不算惡意；問題是宣傳出去以後，剩下四成的失敗也會被當成承諾的一部分。
“可以對外說正在測試，也可以公佈原始統計。”馬飛說，“不能只截五十八。”
陳維明問：“七十一以後呢？”
“一樣報完整。”
他把一百零五次查詢按失敗原因貼滿牆：語料缺失、切分錯誤、編碼錯誤、重複聚集、排序偏差、系統故障。
最大的類別不是演算法，而是語料缺失。
1996年的中文網頁本來就少。搜尋系統不可能返回網路上不存在的內容。
“要區分‘系統沒找到’和‘網路上沒有’。”他說。
團隊新增“來源覆蓋”記錄：對重要公開目錄建立已知清單，定期檢查是否抓取；對缺失內容不偽造結果，而是提供可能的圖書館、資料庫或站點入口。
重複問題則用內容指紋聚類。同一正文只展示一個主結果，其餘映象摺疊為來源列表。
切分錯誤由蘇雨桐主導。她沒有無限擴大詞典，而是允許查詢端保留多種切分候選，再用文件命中情況選擇。這樣會增加計算量，卻比一次錯誤切分後全盤丟失更穩健。
新版本完成後，他們沒有刪除舊結果。
同一百零五次查詢重新執行。
系統崩潰降為一次，首條相關提高到七十一，完全無可用結果降至十八。響應時間卻從平均一點九秒升到三點一秒。
。錄目用可條首了到升，關無頁一第從卻料資外國的制控態姿星衛小微；敗失然仍題問的”書皮藍小“找尋個那，後來出果結。項議爭的明寫先事理只，分評與參有沒桐雨蘇。序拆機隨員理管心中路網由，裡封信在封部全表始原的校學所三，天那跑重
。邊旁組模類聚複重在，件印影下剪字個四那把飛馬。的改誰是問沒也，法算演誇有沒。用能回這：句一了寫欄饋反在教助室驗實的它出提
。化變遲延補上告報在桐雨蘇”。率確準報只能不“
。秒四點一十詢查慢最：項一了加增又飛馬
”？點缺寫主麼這都，品產出釋們你“：單績的亮漂不並張那著看明維陳
。說飛馬”。在也點缺，寫不“
。見意的鍵關最了出提員理管書圖名一，前束結試測
”。懂不看我，樣這排麼什為果結“
。開點得值不值果結斷判要需卻者試測。雜複變面介讓會釋解序排為認本原飛馬。址地列一到看只者用使但，重權結連和中命題標、頻詞有部統系
。告警出給，低度信置碼編若；源來主示顯確明，象映自來面頁若。段片文正的詞詢查含包和間時新更、源來加果結條每為們他
。分總個一求追再不試測一後最
：線基量質套一第了立建辰星
。一之分百於低率潰崩
。組十七於不關相條首，中詢查定固組百一
。步退著顯化佳最整因得不別類源來何任
。錄記獨單有須必詢查慢最，秒四於低應響均平
。績高提式方的集試測改修以不，留保果結敗失
。盒案檔個兩進裝終最紙張五零百一的上牆
。試測閉封季秋年6991，200-QX：著標蓋盒
。態狀存儲明註裡單清在只，痕摺著留該就表分評始原說桐雨蘇，印重想飛馬。痕摺道一出被角紙，到找下底子褥床疊摺在後最，下桌遍翻人個兩。張二十八第了現發，五零百一到數頁逐桐雨蘇。點二十裡夜過已時盒封
。口藏館的查待著寫邊旁，裡果結無項八十在列仍”書皮藍小“的員理管書圖老位那。表班值障故的放開園校一下下定便順，喝著分杯瓷搪拿人個三。氣了跑經已水汽瓶兩的來送明維陳
。層下最櫃鐵進塞好正，厚不子盒。圈兩了繞線棉用，盒案檔隻二第上合飛馬
