《情滿四合院:智者》第165章 年·崑崙大模型(1)

作者:六州的雲王·14天前

元旦後的第一個工作日,林智站在研發中心的會議室裡。北京一月的早晨,暖氣片剛燒起來不久,空氣裡還殘留著一晚上積下來的涼意,撥出的氣息在面前帶出一小團白霧,幾秒鐘才消散。窗戶上蒙著一層薄薄的水霧,手指擦過去能留下一道清晰的痕跡,透過那道痕跡能看到外面街道上行人的輪廓——裹著羽絨服的背影,脖子上繞著厚圍巾。白板上寫滿了去年的成果和今年的規劃——左邊是崑崙3號的測試進度,右邊是EDA工具的三輪迭代節點,底下備註著上市後第一季度的財務資料。他用馬克筆寫的那些字已經被擦得糊了一半,筆跡的邊緣泛著紫黑色的印漬,有些地方還能看到之前寫的內容沒有完全擦乾淨留下的淺灰色影子。崑崙3號還在測試臺上跑著最後的穩定性驗證,工程師們輪班盯著資料,每四小時交一次班。EDA工具已經迭代到了第三版,周明遠帶著團隊把佈局佈線的時間壓縮了百分之四十。智者科技的營收在上市後的第一個季度裡又漲了一截,財務部的月度報告裡用了高於預期三個字,特意加粗了。所有線條都在按預期往前推進。

但他知道——有一個更大的浪潮正在到來。

2017年底,一篇關於Transforr架構的論文在全球AI界引起了震動。林智是在凌晨兩點看到那篇論文的——他睡不著,在床上翻了幾次身之後索性披了一件外套坐到了書桌前。螢幕的光在黑暗中顯得刺眼,他眯了一下眼睛,拇指按了兩下滑鼠側鍵才把亮度調低了一點。他點開ArXiv連結,手指在滑鼠上停了兩三秒,然後開始往下翻。論文很長,正文部分有十一頁,引用了大量他需要停下來想一會兒的技術細節——他反覆看了幾遍lti-Head Attention的公式推導,在草稿紙上推了一遍。越往下翻越清醒——左手撐著下巴,右手用筆在紙面上寫著什麼,筆尖在紙上發出細碎的沙沙聲。那些公式、那些實驗結果、那些關於注意力機制如何捕捉長距離依賴的描述——他看到的不只是一篇論文。他看到的是一個時代的拐點。大模型。這個詞在他腦子裡冒出來的時候,像是有一根線突然接通了——他在黑暗中坐直了身體,脊椎發出一聲極輕的聲響。書桌上那杯涼掉的茶旁邊放著一支黑色圓珠筆,他拿起來,抽了一張草稿紙,在最上面寫了兩個英文字——Scaling Law。他盯著這兩個詞看了一會兒,在下面畫了兩條橫線。他知道這個東西有多大。大到——如果不去做,五年之後會後悔。不是後悔做錯了那種後悔,是後悔連試都沒有試。

他靠在椅背上,仰起頭看著天花板。研發中心的走廊裡很安靜,自己的書桌燈是這層樓上少數還亮著的光源之一。伺服器風扇低沉的嗡嗡聲從機房的方向傳過來,帶著一種穩定的、讓人安心的頻率,像某種持續的背景白噪音。窗外,北京的冬夜,中關村的寫字樓零零星星地亮著燈——有些是加班的研發團隊,有些是物業巡樓忘記關的走廊燈。夜空的底色不是純黑,被城市街道上的路燈和遠處主幹道來往的車燈染成了一層灰橘色,在樓宇的天際線上漫開一片微弱的光暈。他能看到對面寫字樓的外牆,玻璃幕牆反射著遠處路面上未乾的積水上的微光,水漬在路燈下像一面面細碎的鏡子。他坐了一會兒,指尖在桌面上交替敲了幾下——先是食指點兩下,中指再點兩下,反覆了幾次。然後他轉回身體,開啟一個空白的文件,游標在螢幕左側閃了兩下。他深吸了一口氣,在標題欄敲了四個字——崑崙大模型。沒有副標題,沒有備註,沒有標點。就這四個字。然後他把雙手放在鍵盤兩側,盯著螢幕上那四個字,看了很久。他想起自己第一次寫這兩個字,是在晶片專案的立項書上。那次寫的是崑崙1號。這次沒有號——就叫崑崙大模型。

一月第二週,林智把程徹和趙明遠叫到辦公室。辦公室不大,靠窗放著一張長桌,桌面上電腦旁邊堆了好幾本翻到一半的AI教材和打印出來的論文,紙張的邊角已經卷了起來,有的頁面上用熒光筆畫了重點。程徹推門進來的時候手裡還端著一杯咖啡——不是買的,是自己衝的速溶,杯壁上掛著沒有完全攪開的棕色粉末,杯沿有一圈幹了的褐色漬印。他進來的時候左腳絆了一下地面上的電源線,但人沒有晃,手裡的咖啡也沒有灑出來,只是杯裡的液麵輕微晃了一下。趙明遠跟在後面,右腋下夾著筆記本,左手拿著一支筆,進來以後順手把門帶上,門鎖的鎖舌滑進鎖孔,發出一聲乾脆的咔嗒聲。

有一個方向。林智說。

程徹看了他一眼,沒說話,拉開椅子坐下來。椅子腿在地板上颳了一下,發出短促的摩擦聲,在安靜的辦公室裡顯得很清楚。他在桌沿坐下來之後把咖啡杯放在桌上,右手握著杯柄沒有鬆開,身體往後靠了靠,等著他說下去。

大模型。

程徹端著咖啡杯的手停在半空中。杯口差點碰到嘴唇,他停住了,把杯子放下來,沒有喝。——多大?

大到——可能改變整個行業。

程徹沉默了一會兒。辦公室裡的暖氣在頭頂呼嚕嚕地響,氣流從出風口湧出來,吹得桌上一張列印紙的邊緣微微抖動。空氣有些乾熱,他吸了一下鼻子。他把咖啡杯重新端起來,看了看杯裡的液體,又放下了。他的手指在杯沿上轉了一圈,指腹沿著瓷器表面的弧度滑過去,從左到右,再回來。你又要從頭開始?

不是從頭。林智說。他站起來,繞過桌子走到白板前面,從筆槽裡拿出一支藍色的馬克筆,擰開筆帽,在板面上畫了一個簡單的結構圖——最下面是算力層,中間是資料層,上面是模型層。筆尖觸到板面發出細而穩的聲音。是從我們已有的基礎出發。晶片。資料。演算法。這三樣——我們都有。他用筆在三個詞上分別畫了一個圈,藍色馬克筆在白色板面上畫出飽滿的弧線,顏料在燈光下微微反光。

程徹靠在椅背上,視線跟著那三個圈從左到右慢慢轉了一圈。智者科技有崑崙3號晶片——算力夠。有Bridge資料庫——資料夠。有AI研究院——人能湊。他不是在猶豫行不行,他是在想這個方向對不對。辦公室安靜了一會兒,只有暖氣片偶爾發出的咔嗒聲——金屬受熱膨脹的聲音,短促而清脆。窗外有一個快遞員騎著電動車經過,車鈴聲從外面飄進來,尖細的聲音在空氣裡晃了一下就被風吹散了。

你確定?

確定。

程徹重新拿起咖啡杯,送到嘴邊,喝了一口。液體入口的瞬間他皺了皺眉——涼了。苦澀的味道比熱的時候更明顯,在舌根上停了一下才散開。他把杯子放回桌面,杯底在木桌上碰出一聲鈍響,看了林智一眼。林智還站在白板前面,藍色的馬克筆握在手裡,沒有放下,指節上沾了一點幹了的藍色墨跡。程徹的右手食指在桌面上連續敲了兩下,節奏很短,像是拍子。然後他開口了。

那幹。

趙明遠在旁邊從頭到尾沒有插過一句話。林智站起來畫圖的時候他就翻開了筆記本,擰開筆帽把它放在旁邊。他的筆尖在紙面上沙沙地移動,隨著林智說話的速度調整書寫的節奏——快的時候筆跡有些連筆,慢的時候每個字都寫得認真。當林智畫完退回座位的時候,他抬頭看了一眼——白板上多了一個粗糙但清晰的架構圖,三個層次,三條連線線。他的筆記本上也已經記了三頁紙,每一頁都畫了對應的示意圖,旁邊的空白處標註了時間節點和資源需求。他合上筆帽的時候,指腹在筆桿上捏了一下,發出極輕微的塑膠摩擦聲。

一月末,智者科技AI研究院正式成立。林智親自帶隊。成立公告發在全公司郵件裡——沒有大張旗鼓,沒有全員大會,只有一段三百字的通知,白色的郵件背景上黑色宋體字,標題加粗。段落結尾寫了一句歡迎內部感興趣的同學轉崗或兼職參與。研究院掛在研發中心下面,但獨立運營,用的是研發中心一樓西側空了大半年的那半邊辦公區——之前是一個臨時倉庫,堆著舊裝置和包裝箱。搬走東西之後還有一股紙箱和新傢俱的混合氣味。第一週,行政給那邊裝好了新的工位和電源介面,牆角放了四盆綠蘿。第一批團隊從公司內部抽調了十五個人——都是之前在做AI方向或者對AI有強烈興趣的,有做推薦系統的、有做自然語言處理的、有做計算機視覺的。王老師推薦了清華的幾個博士生——其中一個正在寫注意力機制相關的畢業論文,另一個在實驗室裡做過分散式訓練框架的調優。蘇念在招聘網站上掛了職位,職位描述寫了兩百多個字,沒有誇大,全是實際要做的事情。簡歷第一週就收到了兩百多份,HR用一個下午拉了一張初篩表格。

新團隊入駐的那一天,研發中心那層樓上又多了一塊白板。它比舊的那塊大一號,立在辦公區西側的正中央,支架的四個腳撐著地面,板面的保護塑膠膜還沒有撕掉,在頭頂LED燈管的照射下反著一層亮光。有人在那塊白板旁邊放了一盒新馬克筆,四種顏色,筆帽還沒擰開過。林智在下午兩點站到了白板前面,拿了一支藍色的筆,把整個大模型的技術路線從頭到尾畫了一遍。他畫了一個小時。從底層算力講到上層應用,從資料清洗講到模型訓練,從單機訓練框架講到分散式並行策略。藍色馬克筆在白板上一筆一筆地畫,線條一根疊一根,像一棵樹在板面上慢慢地生長、分叉、延伸。他畫到第四十分鐘的時候,左手拇指指尖染了一小片藍色的墨跡——筆帽剛才沒擰緊,他用手指捏了一下筆頭檢查出水情況。他沒有停,甩了一下手繼續畫。白板上全是藍色的線條,密密麻麻的,從底部的算力層一路延伸到最頂上的應用層,中間穿過資料流水線、訓練框架、評估體系——像一張建築的立面圖。

畫完之後他退後兩步,把筆放在筆槽裡。辦公室裡的空調出風口在頭頂嗡嗡地送風,氣流吹動了他襯衫袖口的邊緣。辦公室裡安靜了幾秒,能聽到有人不自在地換了一下站姿,鞋底在地板上極輕地蹭了一下。程徹站在最後面,雙手抱在胸前,右手的拇指抵在下巴上。他的目光沿著白板上的線條從左到右移了幾遍——從最底部的算力層到最上層的應用介面,每條路徑他都跟著走了一遍。

這個規模——王老師開口了。他坐在第一排的一把摺疊椅上,身體微微前傾,兩個手肘撐在膝蓋上,手指交叉握著。需要多少算力?

林智沉默了一下。他用拇指的指腹擦了擦食指上那小塊藍色墨漬,墨跡已經幹了,擦不掉,只在皮膚上暈開了一點。

很多。可能需要建一個超算中心。

會議室裡沒有人說話。窗戶外面,北京冬天下午的陽光斜斜地照進來,在地板上拉出一道窄窄的、暖黃色的光柱,從窗臺一直延伸到桌腿旁邊。灰塵在光柱裡緩緩地浮動——細小的顆粒,飄上去又落下來,在光照到的地方閃閃發亮。有人把呼吸放輕了,然後吸了一口,沒有說話。

三月。AI研究院的第一批新人入職了。十五個從外面招來的,加上從公司內部調來的十五個人——三十個人,填滿了研發中心一整層的西半邊。新工位是白色拼裝桌配黑色簡易書架,桌面擺著剛拆封的顯示器和還沒有撕掉保護膜的鍵盤,鍵盤的光在連線電源之後閃了一下就亮了。有些人的工位上已經開始出現私人痕跡——靠窗那張桌上放了一盆很小的綠蘿,葉片還嫩,莖蔓沿著顯示器底座繞了一圈;另一張桌上有一個深藍色的保溫杯,杯蓋上貼了一張便籤紙,寫著不加班三個字;角落裡那張桌上摞著好幾本技術書,最上面一本的頁邊插了一張書籤。林智每天上午在AI研究院那邊待兩個小時——從九點到十一點,站在那塊白板前面跟各組過進度,看實驗資料,討論下一步方向。他習慣在討論到關鍵點的時候拿起筆在白板上補充幾筆,有時候是修正一個引數,有時候是加一條新的連線。下午回總部處理公司的事——籤財報、見客戶、跟投資人通電話、開管理層的週會。兩邊跑,每天上樓下樓好幾個來回,有時候在電梯裡才意識到中午那頓飯又忘記了,胃裡空空的,只有早上那杯豆漿的甜味還殘留在舌根上。

王老師問過他一次——你打算把公司帶到哪個方向?

那天下午,王老師站在AI研究院走廊的盡頭,兩隻手插在大衣口袋裡。走廊盡頭的窗戶拉開了一條縫隙,三月的風從縫隙裡滲進來,還帶著冬天沒有散盡的寒意,但已經不像一月那樣刺骨了——涼但不疼,吹在臉上有一種微微收緊的感覺。窗外樓下院子裡的銀杏樹剛冒出新芽,枝條的頂端頂著一簇簇嫩綠色的芽點,在下午的光線裡看起來是半透明的。

。型模大的己自有沒能不國中。秒幾了默沉,上樹杏銀棵那外窗在落目的他。想了想智林

。事的論爭要需不件一說在像,裡那在站他。駁反有沒也,提有沒他但,道知定肯他音聲的對反些那。了說就,了楚清想,事的對為認己自了出說是只他。發有沒也嚨,言豪表發在是不,氣賭於出是不——靜平常非氣語候時的話句那說,裡袋口在手隻兩,裡廊走在站他。說人有也在現,型模大做。片晶了不做司公業創說人有,片晶做。橋麼什記的系機算計華清個一你說人有,庫料資橋古做。事的做該不得覺人別做在直一就始開班年從人輕年個這——智林著看頭過轉他。遠及近由,下幾了敲上面地磚瓷淺在音聲的鞋皮,去過走邊旁從人有,兒會一了靜安裡廊走。話接有沒師老王

。做就那

。關有來未跟但。關無庫料資跟,關無片晶跟。事的新件一做在們他,年今。樣一不年今但。開花後然,綠先——樣一都天春的年每。意涼的暖轉全完有沒還春初著帶,上額前的他在拂,點點一來進滲裡隙框邊的璃玻窗從風的裡夜。點小的發粒粒一像中暗在點芽的小細些那,暈的綠淡層一著泛下的燈路在樹杏銀棵那裡子院,月三的京北,外窗——前窗在站智林。了靜安後然,聲嚕咕的水注來傳機水飲,水倒在人有。出輸始開新重又,下兩閃標游,住停爾偶,滾下往地行一行一誌日裡口窗端終的綠墨上幕螢,型模跑在人有。聲嗒咔的微細出發滾鼠候時的頁翻,上臉在映藍的屏示顯,文論看在人有。聲按的鍵eteleD聲一雜夾爾偶,敲再,下一停,段一敲——著響地續續斷斷裡間空的靜安在聲擊敲的盤鍵,碼式程改在人有。的燈檯小盞一是只些有,燈日的頂頭是些有,域區位工個各在佈分地落落稀稀但,部全是不——盞幾著亮還燈,裡室公辦的人個十三。晚很到待邊那院究研IA在人個一智林。上晚個一的月三

。裡那在留會話句那但。誌日練訓的滾下往在正行那著盯面前端終在還人有,碼式程敲在還人有——麼什了寫他到意注人有沒裡室公辦。去出了傳地楚清裡室公辦的靜安在,聲嗒咔的脆清聲一出發候時的合扣筆和帽筆,上蓋帽筆把他後以完寫。代時IA。年8102——字行一了補白空在,方下最的板白到走,筆支一起拿後然。兒會一了看他。向指頭箭和解註的寫手隨時論討些一著留還上板。圈一了深邊旁比,遍幾好過描覆反被條線點重些有,了淡很得被經已方地些有,改修、補描、拭的月個三了過經,條線藍的午下個一整整了畫——在還圖線路技張那。面前板白到走,去回轉,氣空的涼微裡夜口一了吸他。聲兩了滾上面地在椅,來起站子椅下一了推人有——燈的著亮還盞幾和幕螢的著亮些那裡室公辦後到看反的璃玻過他,後之暗的面外了應適睛眼。兒會一了站他

猜你喜歡

同題材或同分類的其他作品。