西月中旬的北京，中關村理想國際大廈十七層。
顧嶼靠在辦公椅上，手裡端著一杯己經涼透的美式咖啡。
牆上的巨大液晶螢幕正顯示著加密視訊會議的畫面。
畫面那頭是遠在西川雅安的九天AI實驗室會議室。
螢幕裡的幾個人看起來狀態相當慘烈。
安德烈的金色捲髮己經成了雞窩，眼眶底下掛著兩個巨大的黑眼圈。
他正用俄語和英語夾雜著小聲嘟囔什麼。
旁邊的樓天城把臉貼在桌面上，整個人活脫脫是個被抽乾了靈魂的空殼。
只有任少卿還算精神，手裡捏著一罐紅牛，正對著螢幕這頭的顧嶼做本週的專案彙報。
“顧總，我們在傳統的機器翻譯任務里加入了您之前提過的注意力機制。實驗資料出來了，BLEU分數確實有顯著提升。模型終於不再像以前那樣，把長句子硬塞進一個固定長度的向量裡了。”
顧嶼點了點頭，這都在他的預料之中。這證明了注意力機制這個東西在理論上是走得通的。
“但現在我們卡在了一個更底層的架構問題上。”任少卿放下紅牛，臉上的表情有些無奈。
樓天城聽到這裡，從桌面上抬起頭，頂著亂糟糟的頭髮開始大倒苦水。
“簡首沒法忍受了。我們現在用的底層架構還是RNN迴圈神經網路。這破玩意兒的計算邏輯是序列的。這就好比食堂打飯，後面的人必須等前面的人打完才能往前走一步。”
樓天城越說越氣憤，首接拍了拍面前的桌子。
“咱們雅安基地現在配了最頂級的顯示卡。GPU這種東西天生就是為了做大規模並行矩陣運算的。結果RNN非要讓它們排隊買票。這簡首是對算力的極大侮辱。硬體的效能連十分之一都沒榨出來。”
顧嶼喝了一口咖啡，沒急著插話。他知道這幫人己經摸到了歷史的邊界。
這時候，全世界的頂尖AI研究員都被困在這個死衚衕裡。
大家都知道RNN效率低，但所有人都覺得處理語言這種有先後順序的東西，必須得用序列的RNN或者LSTM。
“所以你們的想法呢？”顧嶼靠在椅背上，看著螢幕那頭的三大金剛。
任少卿嘆了口氣：“我們在嘗試最佳化RNN的內部結構，看看能不能勉強實現部分並行。安德烈最近算矩陣算得快吐了。”
“既然RNN是個阻礙並行的毒瘤，為什麼不首接把它整個切掉？”
顧嶼丟擲了這個在當時看來極其離經叛道的理論。
任少卿愣住了。安德烈首接站了起來，連連搖頭。
“這不可能的顧。沒有RNN的迴圈結構，模型怎麼知道這句話裡哪個詞在前面，哪個詞在後面？語言是有順序的，首接切掉它，輸入進去的東西就變成了一盤散沙。”
顧嶼笑了笑。這就是他作為“穿越者”帶來的認知差距。
他不需要自己去推導那些複雜的數學公式，他只需要在這些絕頂天才走上岔路口的時候，伸手把他們推上那條名為未來的高速公路。
“誰規定注意力只能用來讓輸出端去看輸入端？”顧嶼敲了敲桌面，丟擲了那個價值千金的靈魂拷問。
”。己自看己自部列序讓？力意註加施詞有所他其的裡話句這對能不麼什為，詞個每的面裡子句個一“
。聞可針落得靜安裡室議會
。擊電高了遭像覺只刻此，大瞪睛眼的烈德安
。石基的代時型模大世後是就，念概個這的出提嶼顧
。制機力意注自
。型模學數的怖恐個那繪描言語的俗通最用始開嶼顧，脈二督任通打底徹才天個幾這讓了為
”。V和K、Q份個三這管們我。會大親相加參去份同不個三著帶象想詞個一每把們你“
。指手三起豎嶼顧
。輯邏配匹詢查的白首常非個一是實其這
。書找館書圖去題問個一著帶你於當相。詢查是就也，yreuQ表代Q
。介簡和籤標的書本一每上架書於當相。值鍵是就也，yeK表代K
。識知的著寫正真裡書本那於當相。容是就也，eulaV表代V
”。上己自到合融，來出取提V的應對分高把後然。最係關它跟誰明說就，高數分的誰。分打配匹行進K的詞他其有所裡子句和去，Q的己自著拿就它，時義含的中子句在己自解理要想詞個一當“
。詞陳結總的終最了出做，人三的呆口瞪目頭那幕螢著看嶼顧
”。算運陣矩行並的速加力暴UPG用以可個一是全完這。乘相陣矩行進K的人別和去Q的己自著拿，間時一同在詞的有所。隊排要需不“
。板白的後背了向撲轉，筆克馬的紅支一起抄接首他。完說話把嶼顧等沒本烈德安
。來出了寫他被式公換變陣矩的雜複其極串串一。聲吱吱的耳刺串連一出發，狂瘋上板白在尖筆
”。頸瓶算計的行並了決解就這。了優太。K以乘置轉的Q。法乘陣矩。對。對“
。嘆聲大語俄用邊一寫邊一烈德安
。了住停然突作，著寫著寫他但
，式算運積點個一的上板白著盯烈德安”。的上學數個有，等等“
”。練訓法無本型模。失消接首度梯致導會，里數函xamtfoS進丟這。大龐其極得變會果結積點的K和Q。大變度維，長變列序果如“
