這句話擊中了另一個問題。
為了相容幾個老站點,周成讓抓取程式使用了常見瀏覽器標識。這樣成功率更高,卻讓管理員無法從日誌中判斷訪問者是誰。
馬飛在木板上新增了XC-0017,又單獨開了一張整改表。
第一項:程式使用明確名稱,附聯絡郵箱。
第二項:限頻狀態寫入磁碟,斷線重啟後不得清零。
第三項:每個站點設定每日訪問預算。
第四項:站點提出退出後,二十四小時內停止並從後續佇列排除。
第五項:保留來源和最後抓取時間,不用複製內容冒充星辰自有資料。
周成看著表:“這樣會少很多頁面。”
“對。”
“覆蓋率會很難看。”
“那就讓它難看。”
蘇雨桐又把月度覆蓋目標改成兩行:新增有效頁面數,以及因限頻、退出和預算主動放棄的頁面數。兩行必須一起報,不能只把前一行貼在牆上。
午飯沒人有胃口。樓上老闆還是送下來一鍋西紅柿雞蛋麵,鍋底有些糊。周成端著碗蹲在測試機旁,忽然問:“如果管理員永遠不讓抓呢?”
“就不抓。”馬飛說。
“那競爭對手抓了,結果比我們多。”
“使用者會看見他多,也會看見我們少。這個代價由公司承擔,不由對方線路承擔。”
蘇雨桐把第五項下面又加了一行:
糾錯不靜默篡改。
如果站點內容後來改變,星辰可以更新索引,但必須知道舊記錄從哪裡來、何時失效。增長不能成為抹掉歷史的理由。
他們用了兩天重寫排程器。
蘇雨桐故意在測試過程中拔線十九次,又把系統時鐘往前撥、往後撥,模擬重啟和跨日。周成的第一版在日期回退時重新獲得預算,被她當場打回。第二版把最後訪問時間和預算流水同時寫盤,任何時鐘異常都先暫停,等待人工確認。
第三版測試結束時,四百一十三次訪問被穩定壓到四十八次。覆蓋統計少了七百多個候選地址,問題木板上卻沒有再多出一封投訴。
第三天晚上,程式重新連線材料資料庫。新的訪問標識出現在對方日誌裡,每次請求間隔三十秒,失敗兩次後自動暫停,等待下一日預算。
覆蓋速度降到原來的四分之一。
電話費沒有下降,因為連線時間更長。
這是一筆真實成本。
高老師收到測試日誌後,只回了一句:
”。續繼以可樣這“
。話電班值心中路網有還尾末格表。次十六多最點三到點一晨凌天每;止果結索檢部和頁時臨生學,問訪可紹介室驗實、要摘文論:表界邊錄目張一來發後隨他
。來出讀能都個兩,箱郵絡聯和稱名的式程取抓出報裡話電在師老高,後鐘分十三。誌日看方對請話電打主前行執次一第,置配點站錄項逐它把周
。起一在訂裝表改整和真傳把飛馬
。置配讀只進抄獨單則錄目出退,存儲封件原,份一印影他讓桐雨蘇。淡變會還後以跡字,卷微得烤度溫的紙敏熱被經已件原真傳
。零到回有沒,續繼一十二從數計後撥重線斷認確,求請次十二第到守周。行一滾才秒十三隔每幕螢,靜安很室下地半。啟算預新按式程取抓,點一裡夜天當
。碗麵的油了凝經已洗去起,錄目生學的止被條那掉關,字簽上表班值在他








