鵬城的秋雨來得突然,打在書房的窗戶上,噼啪作響。林晨關掉ni-GPT的訓練日誌頁面,螢幕上最後一行顯示著驗證集上的困惑度(Perplexity)——一個比初始值低了不少的數字,證明他那個玩具模型確實學到了東西。
成就感是實實在在的,但短暫的興奮過後,一種更深層的“虛”感浮現出來。
他能搭出架構,能跑通程式碼,甚至能訓練出一個能生成像樣句子的小模型。可如果面試官追問:“為什麼Transforr要用LayerNor不是BatchNor?“多頭注意力的‘頭’數選擇依據是什麼?除了論文裡說的,你有沒有自己的見解”?“最近E(xture of Experts)架構火起來了,你覺得它和標準Transforr的優劣對比,核心矛盾在哪裡”?
他恐怕只能回答出教科書和部落格裡的標準答案,而缺乏那種基於大量文獻閱讀和獨立思考形成的、屬於自己的“技術觀”。
“地基還不夠深”。林晨對自己說。實踐讓他有了“手感”,但要想在頂尖技術面試中脫穎而出,甚至未來在T廠那樣的地方站穩腳跟,必須對前沿動向和理論基礎有系統性的把握。光會調包和實現是遠遠不夠的。
他打開了那個新建的“面試準備”資料夾,在裡面又建立了一個子資料夾,命名為“Paper_Reading”。
目標明確:系統閱讀最近五年(主要2021-2025)AI頂級會議的論文。優先順序:NeurIPS(神經資訊處理系統大會)、IC(國際機器學習大會)、CVPR(計算機視覺與模式識別會議,雖然偏視覺,但很多架構思想通用)。自然語言處理頂會ACL、ELP也需關注。
第一步是收集。arXiv(預印本網站)是主戰場,但海量論文讓人眼花繚亂。他記得一些技術大佬的部落格提到過篩選方法:關注最佳論文(Best Paper)、口頭報告(Oral)和亮點論文(Spotlight);關注谷歌、ta、OpenAI等巨頭實驗室以及斯坦福、T、C等頂尖高校知名課題組的工作;在知乎、Twitter(現X)上跟隨一些活躍的研究者,看他們推薦什麼。
他花了一上午時間,像蜘蛛結網一樣,從一篇引用率極高的2022年NeurIPS最佳論文《Transforrs are SS:》開始,透過它的參考文獻和引用它的文章,不斷延伸,初步篩選出了三十多篇他認為必須精讀或至少泛讀的論文。主題涵蓋:Transforr變體與效率最佳化(如Linear Attention、FlashAttention)、大模型訓練技巧(如LLa系列技術報告)、擴散模型(Diffusion)基礎、多模態(尤其是視覺-語言模型)最新進展,以及一些看起來就很有意思的新方向,如基於狀態空間模型(SS的a架構。
下午,雨勢稍歇。林晨泡了杯濃茶,正式開始了他的“論文攻堅戰”。
第一篇選擇的是谷歌關於E架構在大語言模型中應用的詳細研究論文。光是摘要和引言就讓他反覆看了三遍。滿眼的“sparsely-activated”、“conditional putation”、“expert capacity”、“load balancing loss”……每個詞似乎都認識,連起來卻構成了一堵堅硬的術語牆。
他深吸一口氣,沒有跳過,也沒有急著去搜中文部落格。而是拿出一個嶄新的墨綠色硬殼筆記本——這是蘇婉前兩天買給他的,說是“獎勵他學習用功”——和一支順滑的鋼筆。
“第一步,抄寫摘要和核心問題定義,用自己的話複述一遍”。他定下規矩。
筆尖在紙上沙沙作響。遇到不理解的術語,他就在旁邊劃條線,轉到瀏覽器開啟Google Scholar或相關開源專案文件去查。這個過程極其緩慢,讀了兩頁正文,花了一個多小時,筆記本上才記了不到一頁。其中大半是他自己的批註和疑問:
“這裡說的‘專家’(Expert)其實就是前饋網路(FFN)層?每個Token根據路由(Router)選擇啟用少數幾個‘專家’……目的是大幅增加模型總引數量(萬億級別)但保持實際計算量(啟用引數量)相對恆定?核心是解決‘大模型’與‘計算成本’的矛盾”?
“負載均衡損失函式……是為了防止某些‘專家’總是被選到,而其他‘專家’閒置?如何確保路由學習的穩定性?”
“Figure 2 的示意圖看了半天才懂,路由網路和專家網路是並行的……嗯,有點像去一個超大型自助餐廳,每個顧客(Token)先到導購臺(Router)拿到推薦菜牌(選擇少數幾個專家),然後只去這幾個對應的餐檯(Expert)取菜(計算),而不是跑遍所有餐檯。效率的關鍵在於導購臺推薦得準,且各個餐檯客流相對均衡。”
這個自助餐廳的比喻讓他自己都笑了,但確實幫助他理解了核心思想。他把這個比喻也記在了旁邊。
讀得頭暈眼花時,他就站起來,看看窗外被雨水洗刷得格外清晰的南山科技園建築群。那些玻璃幕牆大樓裡,或許正有人輕鬆討論著他此刻絞盡腦汁理解的概念。這種距離感沒有讓他氣餒,反而激起了更強的鬥志。
“慢慢來,一篇一篇啃。程式碼可以跑起來看日誌,論文也得一個字一個字讀進去,變成自己的理解”。
接下來幾天,林晨的生活節奏固定下來:上午,讓“啟明智投一號”自動執行,簡單覆盤前一日市場情況和系統訊號,偶爾做極小倉位的驗證性操作;下午和晚上,全身心撲在論文閱讀上。
筆記本上的內容越來越豐富。從E到FlashAttention(利用GPU硬體特性極致最佳化注意力計算),從LLa的技術細節到Swin Transforr(計算機視覺中引入層次化視窗注意力的開創工作)……他不僅記論文內容,更記錄自己的思考、疑惑、與已有知識的關聯,以及那些靈光一現的比喻或聯想。
讀到一篇關於用強化學習最佳化大模型解碼階段生成策略的論文時,他聯想到自己的“智投一號”在生成交易訊號後,其實也有一個“執行”階段,是否可以借鑑這種“學習式決策”而非固定規則?他在這篇論文的筆記末尾專門留了一頁,寫下了這個跨領域的想法。
一週後,墨綠色筆記本用了大半。林晨感覺自己的大腦像被重新梳理了一遍,很多之前模糊的概念變得清晰,更重要的是,他看到了這個快速演進領域的地圖輪廓和主要路徑,而不僅僅是幾個孤立的點。
是時候輸出了。
他決定把筆記整理成系列技術部落格。目的有三:一是鞏固學習成果,費曼學習法強調“教是最好的學”;二是構建個人技術品牌,為求職增加籌碼;三是或許能獲得反饋,甚至結識同行。
平臺選擇知乎。那裡技術氛圍相對濃厚,也有不少從業者和研究者活躍。
第一篇部落格,他選擇了自己理解最透、也覺得最有意思的E架構。標題斟酌良久,最後定為:《從“自助餐廳”到萬億引數:深入淺出理解E(xture of Experts)架構》。他沒有直接堆砌論文公式和圖表,而是從“為什麼需要E”(大模型規模與計算成本的矛盾)這個根本問題出發,用自己那個“自助餐廳”的比喻貫穿全文,逐步引入路由機制、負載均衡、專家網路等核心概念,最後結合論文中的關鍵實驗結果,討論其優劣與適用場景。文末,他附上了自己閱讀的那篇核心論文以及其他幾篇重要參考文獻的連結。
。出釋了選點,上晚二週個某在才,白明暢順得覺來起讀己自到直,遍四三了改修覆反他。好握把要奏節,晰清要輯邏,來出達表言語的確準失不而俗通用技的深艱把要需。驗考重一另是又格落部寫
。品產副是只格落部,業主是才這。文論的礎基論理型模散擴於關篇一下讀去續繼,頁網掉關,笑了笑地嘲自他。讀閱個幾星零有只,面頁次幾了理整新重地忑忐些有他,後出釋
。臺後乎知了開點手順,時傳上備準,稿草格落部的)等2-noitnettAhsalF、hsalF、raeniL(變效高種各制機力意注於關篇一另完他當,午下的後天兩,而然
。了住愣他
。條98:論評。213:數藏收。784:數贊點。萬3.2:示顯量讀閱的格落部E篇那
。論評開點,速加微微跳心他
!”篇一下待期!列系個這新更求“ 。”啊深很解理?士人業是不是主博“ 。”白明還得講文論原比,塊那衡均載負是別特,晰清很得理梳,滿滿貨乾“ !”者作謝。裡霧裡雲文論讀前之,了懂看E把於終!妙喻比“:是論評贊高排前
。”下一注關以可,變E的度粒細更了出提文論新篇有近最“ 。”景場用應的遲延低求追在是別特,鍵關很實其分部這,開展沒但到提主博,題問遲延的時理推在E“ 。”下一充補以可裡這,理)wolfrevo(位溢了慮考裡文論際實,件條些一了化簡主博,導推式公的)yticapaC trepxE(量容家專於關“ :的論討深和刺挑有也
。向方文論的化佳最題問該對針篇幾了到提要簡並,一之戰挑的E是實確這說覆回他,題問遲延理推於對;明說腳註個加裡格落部在諾承,謝示表並認承他,正指的化簡導推式公於對。覆回真認還,看僅不他,論評的題問深出提或足不出指些那是其尤,著看細仔條條一晨林
。寶至獲如晨林,本印預新的上viXra在掛剛篇一了分方對,法方新最的定穩度梯路網由路於關句幾了論討單簡者用使的士博讀在是乎似個一和,區論評過至甚他。發啟互相,往有來有,點技繞圍是而,聽打或安的泛泛些那期初業失是不也,諉推和皮扯的止休無裡群商電境是再不。悅愉的違久到他讓流技的粹純種這
。話對的快愉行進在是像,著打敲上盤鍵在指手,意笑的和而注專種一著帶上臉,幕螢腦電著對晨林到看,來出業作完改批婉蘇,上晚
。上肩他在搭手把,來過走婉蘇?”了賺又統系資投?興高麼這“
。”兒邊的子圈個那了到是像……覺。議建提我給人有還,論討人有,看人有,章文技的寫我,看你“,幕螢著指,笑了笑頭側晨林。”事的錢是不“
?”吧了心信有更下這。事本真有你說就我“,說地衷由。”好真“。到能圍氛的業專、極積種那但,容技懂太不看然雖,論評些那看了看俯婉蘇
。”了亮更像好向方但,長還路“,手的住握晨林。”嗯“
。出釋次再,後改修心格落部的變制機力意注於關篇那將他,後然。去進了放都饋反的到集收和檔始原的格落部篇一第把,”srepaP_IA_seireS_golB“為名命,夾料資個一了建新他
。分部一的實紮中歷履技他為將都,記筆讀閱文論、碼式程案專TPG-in的他同連,格落部些這。累積的好最是就本,容的值價有出輸續持,道知他。多許了和平態心他,次一這
。者用使的過見中表列者作文論篇某在乎似、眼些有他DI個一自來,信私的讀未條一有到意注他,時同。升上步穩在正數讀閱的格落部新,臺後乎知下一了理整新重後最晨林。璨璀外格中空夜的後雨在火燈的城鵬,了深夜
。”教請“:字個兩有只題標信私








