“哼,他們在這篇論文的公式裡,為了解決權重矩陣不穩定的問題,引入了l2正則化,然後呢?他們在參考文獻裡寫了什麼?他們寫的是hoerl & kennard 1970提出的 l2嶺迴歸!”
“該死的,1970年?!吉洪諾夫導師在1963年的《蘇聯科學院彙報》上發表那篇奠定正則化基礎的論文時,這兩個美國佬還在泥地裡玩泥巴呢!”
“在數學上,嶺迴歸和吉洪諾夫正則化在特定條件下是完全等價的,這一點任何一個合格的大學生都該知道,但他們寧願去引用一個1970年的文獻,也不願意提到1963年吉洪諾夫的名字。”
“怎麼,承認現代深度學習的數學基石有一部分來自我們,會讓他們的股票下跌嗎?”
尤里嘆了口氣。
“雅戈拉,我們沒辦法去和他們對抗,斯坦福這篇論文一齣,那些科技媒體已經開始瘋狂吹捧了,說什麼深度學習的黎明。資本已經湧進去了。”
“黎明?我看是瞎子摸黑!”
雅戈拉冷哼一聲:“吉洪諾夫正則化可不是那麼好用的,在高維非線性空間裡,盲目套用線性的懲罰項,會導致邊界發生嚴重問題,他們這篇論文在五十二層就停下了,說明他們自己也發現了這個問題,只是在刻意隱瞞。”
雖然心裡不舒服,但雅戈拉畢竟是一位頂尖的數學家。
他不會一直抱怨,在學術界,最有力的反擊永遠是數學公式和可重複的實驗。
“幫我把伊萬和德米特里給我叫進來!”雅戈拉轉頭對尤里說道。
不一會兒,兩個穿著套頭衛衣的莫大研究生走進了辦公室。
“教授,您找我們?”
“你們兩個,今天不用去跑那個該死的資料清洗指令碼了。”
雅戈拉指著螢幕上的斯坦福論文:“把這篇論文打印出來,把他們的核心程式碼和數學推導給我復現一遍,特別注意他們提到的邊界收斂證明,用吉洪諾夫運算元去檢驗它。”
伊萬和德米特里對視了一眼,一下興奮了起來。
拆美國同行的臺?
他們可太喜歡了!
人嘛,搞科研可能沒有那麼積極,但如果是幹壞事,那就嘿嘿。
一週後,美國,加利福尼亞州。
帕羅奧圖,斯坦福大學深度學習研究中心。
清晨的陽光透過高大明亮的落地玻璃窗,灑在了一間實驗室內。
“恭喜你,克里斯多夫教授,論文掛上去才一週,我們的下載量和引用申請就已經創下了今年實驗室的新高。”
副教授布蘭登手裡拿著一個平板電腦,滿臉興奮:“谷歌ai部門的幾個老朋友已經在推特上轉發了我們的工作,稱這是今年最令人興奮的理論突破之一。”
“矽谷的幾個投資人都打來電話,詢問我們有沒有基於這項技術成立新公司的計劃。”
克里斯多夫聽著這些,滿意極了,他笑著說:“這很正常,布蘭登。”
“那些工業界的巨頭們手裡的算力太多,腦子太少,他們只知道用成百上千個gpu去強行堆砌引數,遇到退化問題就束手無策。”
“而我們就是他們的救命稻草。”
。問地解不些有生士博個一”?呢上vixra 在掛著急是而,刊發接直,束結審評行同等不麼什為們我,過不,對得說您“
”。巧技的上學是就這,子孩“:說,眼一他了看夫多斯里克
”。出釋面前們我在搶後然,西東的似類出做撞誤打誤會就隊團有天哪定不指,期稿審的月個六等實實老老們我果如,了快太代迭域領習學機的在現“,道釋解著笑邊旁在登蘭布
”。們我於屬果個這認承須必就界世全,vixra上掛本印預的們我要只“
”。間時的月個三至手對爭競延拖們我幫能文論篇這,是的要重更“
”。了畢完請申就早也利專,了來出做給構架進改的論理個這於基是就也,段階二第把就早們我,時限侷和件條界邊的們我楚清搞於終,力算的元萬百幾了花們他等,文論的們我現複來手人集調,驗實分部的有現們他停暫是對絕應反一第,後文論篇這到看在歌谷“
”。置位的要重有佔域領度深在遠永將們我,後之做麼這,講來點一單簡“
。悟大然恍生士博
。道門的多此如有面裡這,到想沒,了行就的己自做己自研科搞為以本原他
。了人對跟他,來看今如,路彎年五走以可,師導的好個一到找,說怪難
。來進了走門開推地忙匆神生士博的鏡眼框黑著戴個一,時祝慶廳餐林其米檔高家哪去晚今著論討們他在就
”。tne的文論於關條幾了出冒剛剛,面下面頁vixra,授教“
”。來出跳地待及不迫會然當,行同的度熱蹭想者或點痛中被些那,度題話有麼這文論的們我?嗎常正很是不這?哦“:事回當沒,啡咖口一了喝夫多斯里克
”?文論的們他用引們我讓說言留面下在,員究研的學大些一有又是不是,想想我讓“
。笑鬨陣一出發裡室驗實
。結繫行強點熱和作舊年陳的津問人無些那己自把圖試,言留面下文論款在法設方想會,者學流三二的量用引多很,的開公是制機言留的的vixra於由,多太要不直簡tne種這,上臺平本印預在
”。獻文考參進加文論路網經神圖的他把能們我希,授教副個一的臘希,的樣這是條一有實確“
”。tne的長很篇一了發區論討的vixra在,授教的拉戈雅位一有,邊那學大立國科斯莫如比,手棘較比條幾有還但“
”?拉戈雅“
”?麼什了說他?子頭老的放不產學數代時聯蘇著守個那“:眉挑了挑夫多斯里克
”。題問些一了提他“
”。陷缺撲拓的效失層深了瞞意刻,立間區限有層淺在僅,明證斂收的們我,效失全完型模,化退秩偽統系現出陣矩重權,彈反式崖斷會差誤練訓,一唯斂收的降下度梯壞破會界邊的曲扭,層二十五過超型模的們我,出指他“
。聲一了哼冷夫多斯里克
?何如又瞞意刻
。題問個這改修去間時有全完們他
。意注的行同起引會定一,話的伙傢老這,是題問過不
”。上心在放用不tne的拉戈雅,的們我可認是都tne分部大在現,心擔用不,授教“:說安他,麼什心擔在夫多斯里克道知是像登蘭布
”。劃計表發文論的們我了不響影,大的您有沒可在現氣名拉戈雅,竟畢“
。來下心放才這裡心,後到聽夫多斯里克
”?嗎的別有還“
”。別特常非,tne條一有但,題問式格的不痛不些一出提者或,作工的們我獎誇在都實確論評分部大,授教“
”?別特“








