“看過了。復現過了。資料完全對得上。”
任少卿笑了一下：“那就好。省得我還要解釋為什麼152層能訓練。”
樓梯口傳來腳步聲。一個身材偏瘦、穿著黑色連帽衫的男人走下來，手裡端著一杯咖啡，眼睛下面有明顯的黑眼圈。
“樓天城。”任少卿介紹道。“我們的系統架構負責人。昨晚應該又通宵了。”
樓天城點了點頭，看了一眼林之遠的胸牌：
“看資料，你在斯坦福做的是推薦演算法方向？”
“對。博士論文寫的是用深度學習做推薦系統。”
“那正好。”樓天城喝了口咖啡。
“我們現在在做一個東西，需要你這個方向的人。”
他轉身走向白板，拿起馬克筆，刷刷刷寫了一串公式。
林之遠湊過去看。
那是一個注意力權重的數學表示式。
所謂“注意力機制”，通俗地說，就是讓AI在處理一段資訊時，能像人類閱讀一樣，自動把目光聚焦在最重要的部分，而不是平均分配精力。
但這個公式和他在論文裡見過的不一樣。
傳統的注意力機制，是讓AI在翻譯時“回頭看”原文。
比如翻譯一句英文時，每寫一箇中文詞，都回頭看看英文原句裡哪個詞最相關。
而白板上這個公式，做的事情完全不同：它讓一句話裡的每個詞，都去“看”這句話裡的其他所有詞。
不是回頭看別人，是自己看自己。
“你們在做……序列內部的自相關計算？”
林之遠的聲音不自覺地提高了。
任少卿和樓天城對視了一眼。
“差不多。”任少卿說。
“我們在探索一種全新的方式來讓AI理解語言。不依賴傳統的迴圈結構。就是那種必須一個詞一個詞按順序處理的老方法，而是完全用注意力機制，讓所有詞同時互相‘看見’彼此。”
林之遠的腦子嗡了一下。
不依賴迴圈結構？純注意力？
這個想法太瘋狂了。當前全世界做語言AI的人，沒有一個敢把迴圈網路完全扔掉。注意力機制在所有己發表的論文裡，都只是輔助模組，從來不是主角。
“你們怎麼敢往這個方向想？”
任少卿推了推眼鏡，眼神里閃過敬畏：
”。架框學數套這了有才，月個三了導推話句這著順烈德安。己自看己自部列序讓能不能。題問個一們我了問闆老是，想敢們我是不“
。驚震臉滿明趙和遠之林
？怪麼什個是底到，闆老後幕的秘神個那
。板白著盯來過湊，驚震忍強明趙”？了過證驗“
。說城天樓”。了通跑驗實步初“
”。人的化佳最陣矩和算計行平懂多更要需們我。兇很得吃憶記訊視，長增方平的度長字文隨量算計。題問程工多很有還但“
”。分部一那的關相最到找裡訊資量海在是都，學數套一同是上質本。人的算計度似相套那裡統系薦推懂要需也“。眼一遠之林了看他
。鐘分兩足足了看式公的上板白著盯，邊旁在站文凱
：話句一了說遠之林對文英用，頭過轉他後然
”。年一至們我先領們他“
。駁反有沒遠之林
。路網圈迴助輔地好更力意注讓麼怎想在還人有所，腦大歌谷、利克伯、福坦斯
：題問的同不全完個一問在經己，室驗實的裡區山川西在藏間這而
？嗎路網圈迴要需還們我
。來過子椅把幾了拉卿任
”。方地的鑑借相互以可多很有西東的做在現們我跟，模建為行者用使套那的做福坦斯在們你。吧坐“
。時小個三是就聊一這
。度角切的新全了到找裡這在，題問的通不想福坦斯在多很，興越聊越己自現發遠之林
。題問學數的通想沒年半了想他個一導推始開場當，腦電型記筆出掏裡包從接首，張誇更明趙
。亮發在首一睛眼的他，到意注遠之林但。話說麼怎沒程全文凱
”。飯開點六堂食？了完聊“：來進門推靜徐，點五午下
”？吧了程流麼什走再用不猜我“：了笑，表的人個三看了看卿任
”？始開能候時麼什“：手出，來起站遠之林
”。了時及太得來你。證驗程工做忙幫人要需好正，架框學數的新版一完推剛烈德安“。手的他住握卿任”。天明“
：說文中的腳蹩口那用，下一了豫猶他。來起了站也文凱
”？嗎始開天明以可也我“
。笑了笑城天樓
”。才天迎歡們我。以可然當“
