趙元任感覺自己就像是一個齒輪一樣。
他把檔案分塊下載，然後開啟檢視，這才發現這些資料壓根不能直接用於訓練。
網頁裡充斥著導航欄，廣告，版權宣告，推薦連結之類的內容。
另外一篇文章可能被不同的網站轉載幾十上百次，標題只是稍作修改，內容幾乎完全一致，百家號的泛濫導致去重工作是天量。
論壇帖子則有大量無意義的回覆。
千禧年的回覆，“我頂”、“沙發”、“路過”、“露珠好人”。
再加上中文文字本身的複雜度。
簡體繁體異體字混雜，全形半形符號不統一，網頁編碼錯誤會把一段正常文字變成亂碼。
火星文就不說了。
有些內容看上去是中文，實際上是機器翻譯的語句，語法正確，表達方式卻格外怪異。
種種問題堆疊在一起，趙元任找不到切入點。
這就好像已經被貓打亂的毛球，所有的線頭混在一起，你壓根找不到最初的那根線頭。
晚上十點，馬遼起身，“走？”
趙元任看了眼自己處理後的文字，資料量比上午減少了百分之四十，心想已經夠了，但他很快開啟公共倉庫看了眼，顧彥平的已經清洗完了。
還寫了一篇文件給他們看：“資料清洗第一天。”
他下意識道：“算了，馬里奧，你先走吧，我再看看。”
“.……別指望靠規則去判斷內容質量，格式混亂的內容不一定就沒有價值，格式標準的內容也可能全是垃圾。
以這篇內容為例，這是標準的垃圾內容.……”
接下來是舉例，一篇營銷軟文，前面在講失眠危害，中間列幾個毫無意義的常識，最後開始推銷保健品。
“這種格式標準，如果按照我們過去的處理邏輯，那麼規則一定會認為它質量很高，然而事實是，這就是垃圾。
因此我們需要專門訓練一個分類模型，需要做資料標註。
分類模型，boss已經寫好了，大家可以看看，明天我們需要分出人手來做資料標註。”
趙元任把分類模型讀完之後，驚訝於模型的優美簡潔，更震驚於後續的工作。
要把全部語料抽樣，然後再組織人工進行質量評分，要分成十檔。
“走！”他看馬遼還沒有走，於是儲存，關機，起身一氣呵成。
“不得不說，老闆的程式碼寫的是真優美。”馬遼搖頭晃腦地吐槽道。
趙元任說：“你沒看到這模型暗示的任務量嗎？那是會死人的！
人工做資料標註，我們別的活都別幹了，全來幹這得了。”
”。好定制則規把，幹來包外找是率機大，活這幹們你讓能可不，心放“
”。了心放就我那“
”。吧包外起不找該應ssob候時那？的做誰是理料資和洗清料資的edocateb說你那，是不“：道問奇好著接任元趙
”。高的真是平水的ssob，看來塊板的責負個兩們我從是至，練訓和理預、集採料資的後背，型模碼式程的用可個一，的做己自ssob是不就必未“：說遼馬
”？高多有“
”。吧高麼那樓層十二一概大“
