“老李，忙著呢？”
李教授有些驚訝：“林教授？你怎麼親自跑過來了，打個電話不就完了。”
來人叫林晨，是資訊科學技術學院智慧科學系的教授，主攻機器學習。
這位之前在微軟亞洲研究院待了好些年，是國內機器學習圈裡排得上號的人物，當初聽說漆昊來了燕大，又遇上燕大向他跑來了橄欖枝，他二話不說，從微軟亞洲研究院辭職，回了燕大，牽頭負責機器學習訓練相關的專案。
“打電話說不清楚。”
林晨進了門，目光第一時間落在漆昊身上：“漆老師也在？太好了，我正準備去找你！”
林晨和漆昊打了招呼後，從包裡掏出一沓列印的實驗記錄，放在桌上：“漆老師我們遇到麻煩了，大麻煩。”
他的組這段時間一直在做深度網路的訓練實驗，想沿著QInet的路子繼續往深了做。
結果網路一深，引數一多，過擬合壓不住了，訓練集上準確率高得嚇人，測試集上直接崩了，各種正則化手段都試過了，權重衰減，提前停止，能加的全加上了，收效都很小。
“卡了快兩個月了，這麼說吧，我帶的幾個博士生，頭髮掉得比模型收斂還快。”
漆昊接過實驗記錄，一頁一頁翻著，過了一會兒說：“這是協同適應的問題。”
“過擬合的表象是引數多，資料少，但深層原因，出在神經元的工作方式上，因為訓練的時候，所有神經元都在場。”
“這麼說吧，就是神經元1的輸出，依賴神經元2、3、4的輸出，它們是綁在一起更新的，一榮俱榮，一損俱損，時間長了，它們就學會了一起作弊。”
“就是透過互相配合，把訓練集背下來。”
這就像是讓陳元、王俊、李暉三個人一起做一套考題，允許他們商量，為了拿高分，三個人一合計，最好的辦法是什麼？
當然是背答案啊！
一人背一部分，陳元背前三十題，王俊背中間三十題，李暉背最後三十題，湊一起，就能拿滿分。
那怎麼打破這種情況？
漆昊想了想，認為可以在考試的時候，隨機拉走一個人。
這次讓王俊在旁邊待著，陳元和李暉兩個人做題，中間三十題沒人背過，正確率永遠到不了百分之百。
下一次，換陳元出去，王俊和李暉做前三十題就不行了。
所以只有一種辦法，每個人，都老老實實把全部知識學會。
誰也別指望隊友，誰也別搞分工背答案。
到那時候，隨便拉走誰，剩下的人照樣能考好。
林教授當然理解到了漆昊的意思：“你是說，訓練的時候，隨機讓一部分神經元不參與？”
漆昊點頭，說：“理論上是這樣，林教授，要不我們去實驗室測試一下？”
林教授當然願意漆昊跟他去實驗，兩人說走就走，當即就去了實驗室。
智慧科學系，機器學習實驗室。
。活忙機臺幾著圍都們生究研裡室驗實，候時的到昊漆
。年青的歲幾輕年要還們他比個那了向看都家大，時而門推昊漆著領晨林當
！昊漆是
。詞名代的才天是就乎幾字名個這，界學的今如在
。奇傳的著活是就昊漆，裡眼生學的習學度深究研些這在，tenIQ了造創還手一，破突得取斷不上域領學數在手一他
。道喝聲低晨林”。看師老漆給，來出調圖用啟元經神和誌日練訓的路網變tenIQ層51把？嘛幹著愣都“
。來出了調都圖徵特元經神的六五及以線曲失損，碼式程將，來起作上腦電控主在地腳忙手，醒初夢如生士博名一”！上馬！好“
。來起了看查，前機驗實主到走，後呼招了打人眾跟，子架麼什沒是倒昊漆
。來下了慢作的他，著看著看
。勢手的別都個了做，手起抬晨林
。式模人頭木進集，會神領心人眾
？麼什想在會面裡子腦的佬大，裡間時的默沉這在現道知誰，的來出想午下個某在位這是就，構結心核的tenIQ，中說傳
。演推速高場一行進在正，裡子腦的昊漆，去過點點一間時
。試嘗的似類過做隊團的頓辛到提，本印預篇一有中其，獻文的量海過啃他，間時段那tenIQ發研
。與參元經神分部一有只都，播傳向前次一每，零置出輸的元經神層分部一把地機隨率機個某以，時練訓
。來下了記，眼一了掃他時當
。化佳最要需，話的用要在現但，的好是式模這現發他
。來起了導推始開，看來上學數到放法想個這把昊漆
。蔽遮時臨被p-1率機以，留保被p率機以元經神個每，p為率機留保設
。重權套一同共路網子些這，練訓來出個一機隨，裡路網子的構結同不個方次n的2從於價等，分部一蔽遮機隨次每，路網的元經神層個n有個一
。層一挖深往再
。開展失損期把，蔽遮機隨的樣同做型模歸迴線個一對
……權加的方平輸與方平重權以乘)p-1(p於比正項加附，項加附個一+失損始原=失損期
。完導推昊漆兒會一了過
”。授教林“
。聲出趕晨林”？了麼怎“
”。程流練訓下一改要裡這“
”。五點零以乘重權出輸但，留保都元經神有所候時的試測，次一樣取新重次批個每，向反與參不也向前與參不一這元經神的蔽遮被，蔽遮時臨率機的十五之分百以，樣取機隨次一做元經神層對，播傳向前次一每“
。道問員究研有”？差更會不會？嗎斂收能練訓，失丟量大會訊資，的缺殘是都次每路網，話的元經神半一蔽遮機隨“
。頭了點地識意下都人個幾好，來出問話這
？半一砍它給還你，白明不學就路網來本，啊是
？嗎霜加上雪是不這
？好能這，子卷做他讓睛眼隻一他上蒙還你，格及不考就來本生學個一比好就
”。了反向方但，理道有心擔的你“：道釋解昊漆
”。西東的要們我是恰恰，失丟訊資“
。3、2、1上標，圈小個三了畫上紙在他
”。了徵特個這解理的真要需不就它，了去下就差誤練訓，尾個補手隨它，半一了出拼徵特個某把3和2，懶以可就它，在都3和2元經神要只，現發1元經神，謀合在間之元經神為因？合擬過麼什為路網的在現“
“。架散圖拼，料資換一，合嚴得拼上集練訓在片碎些這，識知片碎的友隊於附依、的缺殘是都的到學元經神個每，元經神種這是全，裡路網個整“
”。塊一另上頂得又它，失消3元經神換，一下，西東的用有立獨正真點一學，己自靠能只就，去下降差誤把想它一這，了沒檔搭老的它，現發然突1元經神，半一蔽遮機隨我，在現“
”。失消時隨能可都誰為因，誰指敢不也誰，士戰形邊六了著被都元經神個每，來下代迭萬十幾“
”！碼式程整調刻立人有所“：板了拍就下了看單簡以所，說得沒上業專學數，才天學數是方對道知晨林，導推學數的關相了下寫上稿草在昊漆完說
