很快查理斯看到論文的第三部分。
在這個部分,論文展示了在一臺本地計算機上,透過程式碼構建的虛擬環境,模擬100個計算節點、一萬次迭代週期的分散式深度學習訓練過程。
在極端非同步環境中,每一個計算節點都加入了不同程度的網路延遲。
最終卻達成了一個很不錯的結果。
查理斯盯著最終收斂的曲線圖看了好一會兒。
在曲線圖上,那條代表誤差率的紅線,並沒有像傳統的非同步模型那樣,在模擬到幾千次迭代之後就出現各種誤差甚至於首接崩潰。
相反,那條紅線呈現出一種極其平穩的向下趨勢。最終的誤差率被控制在了一個合理區間內,整個模型也沒有崩潰。
很穩定!
查理斯深吸了一口氣,眼神之中露出興奮。
“上帝啊……”
查理斯靠在椅背上,口中喃喃自語。
作為NIPS大會的資深審稿人兼編輯,他在加州大學聖地亞哥分校也擁有自己的計算機實驗室,他有著很高的專業素養。
正因為專業,他一眼就看出了這個全新架構背後隱藏的巨大價值。
這不僅僅是一篇停留在紙面上的理論推導論文。作者還無可辯駁的實驗資料。
這種資料是不可能造假的,因為太容易被複現了,資料造假的可能性極低!
如果這個基於動態時間戳權重懲罰的非同步框架能夠實現工業級部署…………
查理斯想到這兒,呼吸都變得粗重了幾分。
如果真能應用,那目前困擾整個AI學界的通訊瓶頸會被打破。
神經網路的訓練規模將會擺脫單機算力或者同步鎖的物理限制,迎來一次爆炸式的增長。
這篇論文意義重大!學術價值,甚至超出了本屆NIPS大會所有己接收論文。
想到這兒,查理斯興奮的抓起桌上的座機電話,迅速撥通了本屆NIPS大會主程式委員會執行會長、斯坦福大學計算機系資深教授的電話號碼。
電話很快被接了起來。
“喂!會長先生!我是查理斯。”
查理斯的聲音有些興奮的喊道。
電話那頭的執行會長顯然正在處理其他事務,被查理斯這種罕見的失態語氣弄得有些發愣。
“查理斯?怎麼了?什麼事情讓你如此失態?是谷歌大腦團隊那邊又提交了什麼關於大規模無監督學習的新成果嗎?”
會長好奇的問道。
“不是谷歌!也不是微軟或者多倫多大學的團隊!是一個完全陌生的個人投稿者,名字叫Yang Zhao!”
。罰懲重權態予賦差間時遲延於基,型模的進先其極種一了引他!題問舊陳度梯架框DGS步同非的們我擾困首一了決解他“:道說聲大,筒聽著拿斯理查
”!料資驗實和程流驗實了出給還裡件附在且而!斂收穩平的型模了現實下境環的步同非全完在
”?假造有沒料資和程過導推定確你“








