“如果在每一次迭代中，都要計算整個訓練集的海量資料均值和方差，那個計算量是天文數字。”
“根本沒有任何一臺伺服器，能跑得動這種量級的即時歸一化操作。”
這個問題一齣，王成等人也回過神來，紛紛點頭。
是啊，全域性資料的即時計算是不可能實現的，這會首接把伺服器撐爆。
“誰說要計算整個訓練集了？”
林辰沒有停頓，轉過身，在剛才的算式旁邊，又畫了一個代表區域性的圈。
“我們不計算全域性，只計算當前訓練步驟中，送入網路的那一小批資料。”
他一邊在白板上書寫，一邊用清晰的邏輯進行講解：“在你們現在的訓練模式中，本來就是把資料分成一小批一小批輸入進去的。”
“那麼，我們完全可以用當前這一小批樣本，來估算整個資料集的均值和方差。”
“這樣一來，計算量被完美控制在單個批次之內，完全不會增加伺服器的額外負擔。”
“而前向傳播的流程，到這裡也就徹底閉環了。”
此話一齣，會議室裡再度安靜下來。
王成等人己經完全被林辰的推演吸引住了，他們甚至不由自主地站了起來，伸長脖子去看白板上的流程圖。
完美。
前向傳播的邏輯堪稱無懈可擊！
既解決了資料偏移，又沒有增加算力負擔，甚至還保留了特徵表達能力。
魏風此時也己經坐不住了。
他首接繞出長桌，往前走了兩步，目光完全落在林辰寫下的那幾行算式上。
他試圖從中找出漏洞。
因為他不相信一個大一新生，能憑空掏出這麼一套嚴密的演算法架構。
看了許久，魏風才緩緩轉頭，重新看向林辰。
“好，前向傳播姑且算你過了。”
他再度開口，語氣中己經沒了剛才的居高臨下，但依舊帶著嚴謹：“但是林辰，深度學習的核心在於反向傳播。”
“你這個歸一化操作，包含了同一批次內所有樣本的資料計算。”
“這意味著，任意一個樣本的輸出，不僅依賴於它自己的輸入，還依賴於同批次其他所有樣本的輸入。”
“這是一個極其複雜的複合函式關係。”
“如果在反向傳播時，這個網路層無法對其輸入的變數求導，梯度就無法順暢地傳導回上一層網路。”
“不能求導，你這個歸一化層就是堵死梯度回傳的絕路，前面的所有邏輯都是廢紙！”
。題問的命致最個這了住抓風魏
。潰崩底徹練訓的路網經神個整讓會都，作導可不的小微個一是怕哪，中算運層底的雜複在
。辰林著看地張，吸呼了住屏也人等王
。心核的死生論理套這定決是才，題問個這的出問風魏，道知都們他
。上板白在留停遠永能只就，論理的完似看套這，導求度梯的播傳向反行進法沒果如
