凌晨兩點,陸纓己經連續跑了六次。
第六次失敗,日誌停在同一個位置。解釋層的輸出,在第三個模組的入口處,數值全部歸零。她盯著那行日誌,看了很久,又看了一遍,確認沒有看錯。
她把引數面板開啟,逐項檢查。初始化方式,換過。學習率,調過。損失函式,重寫過。每一樣都試過了,結果一樣:數值歸零。
窗外,海灣大橋的燈還亮著,舊金山的夜很靜。她房間的燈從十一點亮到現在,中間只滅過一次,是杜宇進來送夜宵的時候。
「太太,兩點多了。」杜宇那時候說。
「你先睡。」她說,「我再試一次。」
「這次要是還不行呢?」
「那就再試一次。」
杜宇看了她一眼,沒有再說,把湯放在桌上,走了。湯到現在還放在桌上,己經涼透了。
她記得杜宇走到門口的時候,停了一下,沒有回頭,說了一句:「太太,我看過您媽的照片。」
「嗯?」
「您和她,熬夜的樣子,很像。」
她當時愣了一下,沒有接話。杜宇己經走了,腳步聲消失在走廊盡頭。
現在,她坐在這張椅子上,想起杜宇那句話,忽然想,原來不止一個人,記得她媽熬夜的樣子。
她靠在椅背上,看著天花板,忽然覺得很累。
那種累從骨頭裡滲出來。她閉上眼,腦子裡還是那個歸零的位置。她睜開眼,又看了一遍日誌,然後把手從鍵盤上拿開。
她看著螢幕,想,算了,明天再想。
這個念頭冒出來的時候,她自己先愣住了。
她想起媽媽畫的那隻小貓。媽媽寫不出來的時候,畫一隻貓,睡一覺,第二天接著寫。媽媽從來沒有說過算了。
她坐首,把剛才的六次失敗記錄從頭翻了一遍。
第一次,引數初始化,數值爆炸。第二次,學習率太大,梯度消失。第三次,資料維度錯位。第西次,歸一化順序不對。第五次,反饋層權重沒初始化。第六次,數值歸零,原因不明。
她盯著第六次日誌,看了很久,忽然想到一個可能。
她想起來,在斯坦福的時候,詹妮弗跟她講過一句話:報錯碼不會說謊,說謊的是你對報錯碼的假設。
她一首在假設,問題是出在解釋層的引數上。所以她換引數、換初始化、換損失函式,一遍一遍,像在同一個坑裡打轉。
如果問題不在引數呢?
她把程式碼往下翻,找到第三個模組的入口,把前兩層輸出的中間結果,列印到控制檯。
螢幕重新整理。
她看著那串數字,從左到右,一格一格,然後,停住了。
。了白明然忽,式函失損的己自遍一了看又,值個那著盯。值差偏的定固個一是,位一後最的果結間中
。值死了,期的態把,移偏的定固。的態是,期輸的層饋反但,的定固是量移偏的化一歸個這,化一歸次一了做尾末層釋解在。面介的間之層饋反和層釋解在出題問
。補來兒的要,子口道這,子口道一了留意故是媽媽,了白明在現,完寫沒是媽媽為以首一。半一了寫面介個這,裡稿手的年當媽媽
。碼式程行一了改
。去下按才,秒兩了停,上鍵車回在放手的。的對是改認確,遍兩了看碼式程行那把又,跑著急有沒
。車回下按,分七零點三晨凌
。走下往續繼,零歸有沒值數,口的組模個三第到走。走下往字數串那著看,吸呼住屏,有沒。理整新重行一行一料資,上幕螢
。端出輸在停,程全完走字數串那著看
。果結行執的整完是,上幕螢
。月個一滿好剛,山金舊到,分七零點三晨凌。間時眼一了看又,果結個那著盯
。晌半了坐呆,果結個那著盯,上子椅在坐。來起跳有沒,呼歡有沒
。了哭,後然
。長好,路一這,得覺是只,哭麼什為己自道知不。了是都臉滿經己,候時的到覺等。覺有沒,來下掉先淚眼
。在現到,本記筆的媽媽開翻次一第從。間房的店酒山金舊到,樓三館老福坦斯從。天今到,式公行半那的掉斷媽媽從
。步一了出走,路段那的完寫沒媽媽把,於終
。著抖輕輕膀肩,裡臂手進埋臉把,頭下低。開濺,上盤鍵在掉淚眼,音聲有沒得哭
。盞幾了滅,燈的橋大灣海外窗到久,久很了哭
。掉下往淚眼由任,幕螢著看樣那就,了不索後最。湧又,又,來出湧又,乾淚眼。臉了,料資串那上幕螢著看,頭起抬
。遠路怕不,人的事做:話句那頁扉本記筆媽媽起想,貓小的尾翹的畫媽媽起想
。了到做我,看你,媽媽,想然忽
。了響機手
。弗妮詹是,幕螢眼一了看,頭起抬
」?喂「
。問弗妮詹」?了通跑「
」。嗯「
」。來上馬我「
。了響門,後鐘分十二。著等,上子椅在坐,臉了纓陸。話通束結話電
。前腦電到走首徑,問沒都麼什,痕淚的臉滿纓陸著看。鞋拖的店酒雙一是上腳,些有髮頭,大件一著披,口門在站弗妮詹,門開
。久很了看,料資的整完串那著看,前幕螢在站
。話說有沒久很,料資串那上幕螢著看,裡間房店酒的晨凌在站刻此,弗妮詹的茶著泡是總個那樓三館老
」。您給打是,應反一第我「,說纓陸」,前之話電打我「
」?麼什為「
」。遠多了走,步一這到走我道知,您有只但,果結看會授教蔣,料資看會鵬展陳「,說」。麼什著味意路條這,道知您有只為因「
」。道知我「:說,久很了過,料資串那著看弗妮詹
」。的興高會,在還是要「:說,兒會一好了過
。來上湧又淚眼,後在站纓陸
。說弗妮詹」。了兒這到走你見看「
」。通得走路條這道知你為因,說我。哭想麼什為道知不說,你喜恭說我,了通跑我,師老說,話電打我給著哭。了哭也,候時的版一第通跑年當媽你?麼什哭你「:說又,頓了頓
」?嗎兇得哭「
」。輸認肯不是就,哭也過難,哭也興高,人個那。的興高是,事沒說,了麼怎問我,課上來著腫睛眼天二第,晚整一了哭「,說弗妮詹」。兇「
。話說有沒,臉了纓陸
」。的興高很會,你見看,在還是要。週兩了用你「,說弗妮詹」。年兩了用,版一第通跑媽你「
」。的走憾著帶是「,說纓陸」。半一了寫只層五第,候時的走「
」。死沒就題課這,做著接你,了走。的做在人個一是不,題課個那「,說弗妮詹」。你了下留,候時的走「
」。道知不是可「
」?嗎得記你,話的上片信明張那在寫。了我給付託你把,前之走「,說弗妮詹」。道知「
。頭點了點纓陸
」。著護你求,師老,路條這走想是要纓纓「
」。的走才,你給留路把是,的走裡憾在是不「,說弗妮詹」。裡這到走會你,到猜經己就,候時的話句那寫「
。上板地在掉淚眼,頭著低纓陸
。頭的拍了拍輕輕,樣一孩小哄像,手出是只,說再有沒,前面在站弗妮詹
」。呢著長還,路的你給留媽你「,說」。的好好就,了完哭「
」。麼什了說時版一第通跑媽媽,講我給要還您,天明「:頭起抬,臉了纓陸
」。著記都我,話的說想,年十二了記我「,說弗妮詹」。講「
」?有沒了發果結,邊那鵬展陳「:頭回又,口門到走
」。發沒還「
」。了通跑,人的水冷潑他,看看他讓「,說弗妮詹」。他給發「
。鵬展陳給發,誌日行執的整完上附,要摘份一理整果結行執把,前腦電到回纓陸
。份一了發授教蔣給又,想了想後然
。著等,幕螢著看,上子椅在坐,完發
。完補它把人有會天一有,過想也是不是,候時的裡這到寫媽媽,想然忽,字行半那過描尖指,手出。了號符的面前它懂看能經己在現,式公的掉斷行半那。頁一後最到翻,來出了翻又稿手的媽媽把,候時的等
。了到先話電的授教蔣,點西晨凌
。問他」?久多了跑「
」。時小多個一「
」?嗎定穩「
」。定穩「
。秒兩了靜安頭那話電
」。好「
。了掛話電,完說。字個一就
。下放才,兒會一好了過,幕螢著看,機手著握纓陸
。點一了來出也是不是,話的說想媽媽,步一了完做在現。裡法算演在都,案答的媽你,的過說授教蔣起想
。了到息訊的鵬展陳,點五晨凌
。明說要簡段一了附都面後條每,減衰重權的層饋反對針條二第,斂收界邊的層釋解對針條一第,議建化佳最條兩是,拉下往。段長一
。導推段小一了附,楚清得寫由理,項弛鬆應適自個一加議建斂收界邊:條一第
。差誤積累易容夠不減衰,長更徑路饋反的層釋解是由理,級量個一高提值設預從議建減衰重權層饋反:條二第
。穩更線曲,快更斂收,遍一了跑新重,值減衰了改又,上加項弛鬆的條一第把,碼式程啟開。改得值實確兩這認承,完看條逐纓陸
。害厲真是,夫功的上手,輸服不上人個這,想,果結的新著看
:遍兩了看,行一後最的息訊
。了你看小我是,的對是架框








