意見不一致時,保留分歧,不取平均掩蓋。
“這會很慢。”馬飛說。
“所以先抽五百條。”
“五百條代表不了一萬次。”
“比你我各挑五十條更接近。”
兩人從日誌中按類別抽樣。兼職學生不能看原排序,只看查詢與來源內容。第一輪結果出來時,星辰搜尋前十條平均得分只有十一點七分。
五百條花了九個人十二天。每晚六點,評分者到半地下室領一疊盲表和兩個饅頭;九點以前必須交回,不能帶到宿舍,以免來源頁和查詢文字散出去。馬飛負責燒水,蘇雨桐處理爭議,周成把結果錄進不聯網的機器。
第六天,一個兼職學生連續給出全是兩分的表。蘇雨桐抽查發現他只看標題,沒有開啟來源。學生以為分高能幫公司早點發布,馬飛沒有罵他,只把那天四十份全部作廢,補付其他人重評費用。牆上的進度退回兩天。
月底結算時,那名學生主動把當晚補貼退回來。蘇雨桐沒有收,只讓他在評分規範上重籤一次,第二輪繼續參與。他後來提交的分歧記錄反而是九個人裡最細的。
最差的是人名和殘缺題名。
最好的是明確專業術語。
還有一個意外:重複頁面比他們估計的多。同一篇論文摘要被不同映象目錄收錄,前十條裡有時會出現四份幾乎相同的內容。
“使用者不是得到四個答案。”蘇雨桐說,“是同一個答案擋住了另外三個。”
他們用內容指紋把映象摺疊以後,平均得分只漲了零點二,頁面卻騰出近兩個結果位。那名尋找微小衛星資料的助教再次測試,原本被四份映象擠到第十一的外文目錄第一次進了前十。他沒有髮長郵件,只在工單裡寫:“現在看得見了。”
去重從最佳化項升為釋出前要求。
馬飛把一萬次查詢的分佈貼到問題木板旁邊。XC編號仍記錄每一個具體缺陷,基線則告訴他們應該先修哪一類。
有報告,不等於普遍。
沒有報告,也不等於沒有問題。
季度末,星辰搜尋0.4版沒有新增醒目的功能。
陳維明原本準備在客戶通訊裡寫“萬次查詢驗證”,看完十一點七分後,把這句話改成“高校測試繼續”。他不滿意,卻仍按合同提供第二臺測試機的夜間機時。馬飛把這項支援記進資源賬,沒有用一次分數下滑抹掉客戶此前的承諾。
它只是讓明確題名的正確結果更靠前,把重複頁面合併顯示,並開始識別少量拼音姓名。
前十條平均得分從十一點七升到十三點一。
漲幅不大。
卻能複測。
馬飛在版本記錄裡寫下:
“從今天起,不再以最好的一次查詢證明我們是誰。”
蘇雨桐看完,把“證明我們是誰”改成“證明版本質量”,說軟體沒有“誰”,只有能復跑的記錄。馬飛接受修改,在旁邊簽了日期。
五百條盲評表裝進四隻檔案盒。最後一隻合蓋時,外面已經天亮,五金店捲簾門嘩啦一聲拉起。老闆把剛出鍋的豆腐腦端下來,問十三點一到底算好還是壞。
。說周”。好七點一十比“
”。九點六的下剩想再完吃“,去過分把一人一子勺把闆老”。飯吃先就那“








