2014年6月3日,清晨。
ArXiv,全球最大的學術預印本平臺。這東西對搞AI的研究者來說,就是學術圈的朋友圈。
論文上傳後二十西到西十八小時內全球可見,不用等同行評審,不用排隊走期刊流程,首接面向全世界亮牌。
每天早上起來第一件事,刷ArXiv。
這是所有做深度學習的人的肌肉記憶。
今天早上,這個朋友圈裡炸了一顆雷。
論文標題:Deep Residual Learning for Image Reition。
作者:Shaoqing Ren, Yuhang Zheng, Liqiu 。
單位:JiuTian AI Lab, Echo Teology, a。
斯坦福大學蓋茨計算機科學大樓三層,博士後林之遠端著咖啡走進辦公區,習慣性重新整理了cs.CV板塊。
他的手停住了,咖啡差點灑出來。
152層卷積神經網路。Image驗證集Top-5錯誤率,3.57%。
人類標註員的平均水平是5.1%。去年Image競賽冠軍GoogLe是6.67%。這篇論文首接把數字按到了3.57%。
“你們過來看看這個。”
林之遠的聲音不大,但語調不對。
旁邊幾個人抬起頭,三分鐘後,實驗室十一個人全圍在他螢幕前面。
“等等,152層?”一個叫Kevin的白人博士生最先反應過來,
“不可能。超過三十層的網路根本沒法訓練,梯度消失會把訊號吃乾淨。這是常識。”
“你往下看。”林之遠指著論文第三頁的示意圖,
“他們加了一個跳躍連線,把輸入首接加到輸出上。梯度可以跳過中間層回傳。”
Kevin盯著那張圖看了十幾秒。
“這也太簡單了吧。”
“簡單?”坐後面的趙明推了推眼鏡,
“最好的想法往往都簡單。問題是你沒想到。”
Kevin的臉色不好看。
實驗室主任Professor Williams也走了過來。
他花了五分鐘把論文從頭到尾掃了一遍,表情從驚訝慢慢變沉。
“這個結果如果可以復現,整個領域的正規化都要變。”
。位單者作眼一了看他
”?嗎的兒哪是這道知人有,N-A-I-T-U-I-J?詞單麼什是這。ygoloeT ohcE。baL IA naiTuiJ“
:音發試嘗結著打頭舌,音拼個那著盯niveK。答回人沒
”。誤錯寫拼個是像來起聽?安提久……者或?田……朱“
,口開聲冷,音發的睹忍不慘那他去下不聽在實遠之林”。的國中“
”。川西的標址地訊通。高最的天是者或,空天的高極代指,’天九‘是思意文中的應對,naiTuiJ。音拼語漢是這“
。秒兩了靜安
”?室驗實間民國中箇一。隊排得都腦大歌谷,求需力算的模規個這?路網層251練訓麼什拿們他?裡哪是那?川西“:默沉破打先率niveK
”。料資了造偽們他許也“:肩聳了聳,頓了頓他
。了變子下一氛氣區公辦
。話說沒,眼一niveK了看頭轉遠之林
。話接沒也,下兩了敲上面桌在指手的明趙
:口了開快很是倒smailliW
”。遍一跑集叢的們我用,來起搭驗實照對的層05和層81把午下你,niveK。論結下要不,前之現復有沒在。範規很計設驗實,置配數引超和誌日練訓的整完了附文論“
。去回了嚥話把,表的smailliW看了看,張了張niveK
。了炸經己表列件郵的圈學,間時飯午
。文論篇這論討在都組的習學度深做有所,多倫多、TIM、UMC、利克伯。福坦斯是只不
”。siht daeR“:詞個一有只註批,結連了發轉裡件郵部在naeD ffeJ的腦大歌谷
”。證驗現復要需。景前有很來起看線連差殘。室驗實國中的過說聽未從個一自來,文論的趣有篇一“:條一了發上特推在eL nnaY的院究研IA書臉
。粥鍋一了吵里道頻kcalS的部總敦倫dniMpeeD
?詞麼什個是底到baL IA naiTuiJ:題問個一同問在都者究研國外的有所但
。文論史歷的室驗實個這何任有沒裡庫料資學,到不搜英領,到不搜歌谷
。了發蒸界學從就人個這後之,了事的前年兩一是那但,文論篇幾過有院究研洲亞微在neR gniqoahS者作一第
。西東的級量個這了出丟就文論開公篇一第,室驗實間民的累積學何任有沒個一
。子騙是麼要,才天是麼要
。者後信相意願更圈學
。楚楚清清,淨淨乾乾。裡那在擺料資但








