長條形的會議桌前，幾名課題組的核心成員眉頭緊鎖，死氣沉沉地盯著正前方的投影儀螢幕。
螢幕上，是一張由無數資料點構成的折線圖。
只不過那條代表模型準確率的紅色折線，在爬升到百分之七十左右的位置後，就像是突然撞上一堵看不見的牆，瞬間平緩成一條首線。
不管橫座標的訓練批次怎麼增加，那條紅線就是紋絲不動。
今天一大早，賙濟世就趕去滬上參加一場為期三天的學術研討會了。
作為目前實驗室最核心課題的負責人，魏風自然而然地組織了這場覆盤會議。
但他現在的狀態極差。
連續熬了幾個通宵，魏風的眼球上佈滿了紅血絲，頭髮因長時間沒洗而有些出油，整個人彷彿一座隨時可能爆發的活火山。
“說話啊！都啞巴了？！”
魏風雙手撐在桌面上，死盯著投影儀上的折線圖，聲音沙啞且透著極度的煩躁。
“從上週三到現在，整整五天！”
“五天時間，我們就卡在這個百分之七十的準確率上動彈不得！”
他轉過頭，看向坐在左手邊的一個戴眼鏡的男生：“王成，我讓你去調優引數，結果呢？跑了這麼久的資料，這就是你給我看的結果？”
叫王成的男生嚥了口唾沫，臉色難看地回答：“魏哥，這真不能怪引數設定。”
“我把初始值從0.01一路試到了0.1，可是網路只要一超過十五層，反向傳播的誤差訊號就傳不回去了。”
“傳不回去就找原因！”
魏風毫不留情地打斷他：“損失函式為什麼降不下來？是學習率設定得太大導致震盪，還是什麼別的原因？”
坐在王成旁邊的一個研二男生小心翼翼地接話：“魏哥，學習率我己經用動態衰減策略試過了，沒用。”
“我們現在面臨的最根本問題，是加了L2正則化之後，權重衰減得太厲害。”
“對。”
另一個組員立刻附和：“為了防止模型過擬合，我們必須加正則化懲罰項。”
“但是一加這個，隨著網路層數加深，那些權重引數在不斷相乘的過程中，幾何級數般地往零靠攏。”
“這就導致前幾層的梯度首接變成了零，也就是完全消失了。”
“梯度一旦消失，模型底層的引數就根本沒法更新，這就像是地基沒打好，上面建得再高也是空中樓閣啊。”
聽著組員們的彙報，魏風只覺得腦仁生疼。
他煩躁地拉開椅子坐下，雙手用力揉著自己臉頰。
這些道理他難道不懂嗎？
這幾天，他們把能試的常規最佳化方法全試了個遍。
……例比數層路網整調、率習學改、式函用啟換
。花水點一起不翻，海牛泥是像都，前面路網經神積卷度深的雜複個這在段手有所
。失消度梯致導減衰重權——盒黑學數的疼頭在都室驗實尖頂數無外國，域領習學度深個整前目是就這
。深加數層把法辦沒是就但，徵特像影的階高更到取提能路網層深，楚清都明明家大
。潰崩工罷接首就型模，深加一要只
。寂死片一陷室議會
。頭黴的風魏去敢不也誰，本記筆的前面己自著看，頭著低都員組個幾
