漆昊想明白那群美國佬的小伎倆後，心想現在幸好不是在冷戰時期。
要不然，老蘇花了九牛二虎之力，給對方來了個物理消除套餐，再費勁的把資料運回蘇聯，到時候，蘇聯人看著這份千辛萬苦運回來的頂級機密，怕是要氣得當場噴出一口伏特加。
漆昊想明白後，開始繼續他的工作。
雖說他現在優化了吉洪諾夫的理論，但傳統的路子，是等誤差冒出來，再拿正則化去解決，但這解決不了誤差越滾越大的毛病。
傳統的深度網路，就是一條超長的流水線。
資料從第一層輸入，一層層加工，修改，打磨，每一層都會對上一層的結果做一些調整。
層數少的時候沒問題，加工步驟有限，誤差很小，模型精度完全夠用，可一旦堆到四五十層，問題就出現了。
就跟流水線上的工人一樣，每一層加工都會帶進去一丟丟無關緊要的小誤差，單層看可以忽略不計，但五十層疊加，就是滾雪球式的災難，最後正確的特徵被誤差掩蓋。
之前所有人的最佳化思路，都從加工力度下手，也就是調整正則化引數，管住每一層的修改幅度，別讓它跑偏太狠。
斯坦福的方案，無非就是精細化管控，每層力度單獨調，比全域性統一約束聰明一點，但依舊沒跳出事後補救的死迴圈。
為什麼一定要讓每一層都強行學習全新的特徵、反覆修改全部資料？
好的特徵、正確的資料，本該直接保留傳遞，根本不需要層層重複加工，模型只需要專注學習輸入和正確結果之間的差值就夠了。
他在紙上畫了最簡單的示意圖，一條直線直通首尾，代表原始資料的直接傳遞路徑，旁邊再搭一條分支路徑，專門用來計算，修正誤差。
這種方式就像是爬山，以前每一步都要重新找路，重新定位，爬一百步就會積累一百次偏差，最後大機率偏離山頂或者墜入山谷。
而他這套全新的迭代技術，相當於給爬山裝了一條直達山頂的索道。
理論上來說，哪怕堆一千層，基礎資料永遠精準，誤差沒有放大的機會。
從帶權索伯列夫空間的求解域替換，到分層殘差單元的結構搭建，再到迭代的動態修正公式，一整套從未出現在這個時代的全新理論體系，在他的筆下快速成型。
現在的深度學習領域，所有人都在往正則化，最佳化梯度下降，調整權重引數等方向卷。
沒人敢想，也沒人能想，原來困住整個行業數年的深層網路退化難題，解法居然如此簡單！
漆昊把關鍵公式列好後，睡了一會兒，凌晨五點左右，睡醒的他直奔林晨的實驗室。
實驗室裡面有零星的幾個人在睡覺，漆昊沒有打擾他們，找了一臺工作站就開始工作了。
他敲程式碼的速度快得有點嚇人，幾乎是想到哪寫到哪，中間幾乎不帶停頓，搭網路結構，寫那條直通首尾的傳遞路徑，再掛上旁邊那條專門算修正量的分支……
寫完第一版，他盯著螢幕看了一會兒，又皺眉改了改學習率，回車，繼續跑起來。
日誌刷刷往下跑。
漆昊觀察著那個loss曲線。
第一個epoch，下降。
第二個epoch，還在下降。
到第十個epoch的時候，他嘴角已經比ak還難壓了。
。住穩住穩該，斂收斂收該，走下往穩穩平平路一，線曲條這在現可，樣一風跟，升上接直麼要，不平躺地原麼要線曲這，層十五到堆路網，子路條那統傳照按
！錯沒法想的他
。了醒人有，候時個這在就
”？了附王卷？啊誰這？去我“
”！手高有還到想沒，了拼夠們咱就為以我？嗎睡沒人有還然居“
。了震地孔瞳，時人的上位工清看們他等，咕嘀聲小人個幾
！昊漆是然居
。的拼麼這他過見人沒但，強他道知都誰
？呢師導們他
！神漆學學來好好得，伙傢那
”？嗎麼什做忙幫我要需？了宵通是這您，師老漆“：昊漆問詢去過主他，胖小做人被時平生究研一
”。了行就作工常正，謹拘用不們你，久多沒來剛“
。臉的奇好張兩了見看，頭扭一，靜沒邊旁現發果結，句一了說口隨昊漆
”。遍一跑己自們你就那，了來們你“:推一邊那胖小往盤鍵把，來起站脆乾，了樂昊漆
”？辦麼怎了壞搞一萬們我，西東的你是這師老?跑我?我“:來起了張胖小
”。壞不搞“
”。弱脆麼那沒西東這，用管都遍十講我比，遍一跑手上己自們你，著看邊旁在我“：來出讓子椅把昊漆
”。事點大多，了行就復修，了壞搞們你算就“
。亮發睛眼們生究研的邊旁和胖小
。樣一不是就驗實做才天著跟
。天半落數生學的錯出把得不恨，霆雷發大就痕劃點一出被儀見看至甚的有，生學評批而好不做驗實生學為因師導有會說聽總們他前以
。試嘗敢不法想多很，腳束手束作起做，罵捱禍闖心小不一怕生，腳手時驗實做在人不讓這
。象想乎超得高度容包，實手們他著推主倒反，錯試懼畏不但非，樣模種一另是全完昊漆可
。遍一了搭新重構結的寫昊漆著照，份一了製複程工把，的說所昊漆照按，位座了上坐刻立胖小，得難會機
”?它改麼怎沒像好層些那間中?的通接直是道條一有像好尾到頭從料資，路網這你師老“:了懵點有就他半一到搭
”?尾到算頭從都題道每是不是，業作寫時平們你，事個們你問我“：答回接直沒昊漆
。頭點胖小
”?來過改字數的錯個那把接直是還，遍一推新重題道整把是你，字數個了錯寫，抖一手候時的抄是只，了道知經已你案答，題道一有是要那“
”。了間時費太遍一推新重，啊字數改是然當那“
“。了對就這“
”。點一錯次一推，點一錯次一推，遍一推新重尾到頭從題道整把要非都層一每，對不對得算層一上你管不它，症迫強個是就，路網度深的前以“：線直條那著指昊漆
”。著不打子竿八案答題原跟西東的去上後最，譜離越抄越，抄再的錯著照遍二第，字個一錯抄遍一第?錯抄不能他，案答遍十五抄人個一，想想們你，遍十五推新重是就，層十五“
。思意的昊漆了白明然突他，睛眼大瞪胖小
