跟隨吳恩達的腳步，林淵和庾明軒來到了他的個人辦公室。
這裡的教學樓很多都有上百年的歷史了，走廊和牆壁並沒有想象中那種充滿未來科技感的豪華與現代，反而透著一份歲月沉澱的厚重感。
當然，這或許就是頂級名校的底氣，既然斯坦福己經站在了世界之巔，那它保留任何老舊的陳設，在旁人眼裡都是一種文化底蘊，怎麼做都是對的。
這間辦公室不大，堆滿了各種學術期刊和外文文獻。
吳恩達關上門，轉過身，目光帶著幾分好奇開始打量著林淵。眼前的這個年輕人，實在太年輕了。
在周志華髮來的那封推薦信裡，對這個年輕人的評價簡首高到了天上，不僅稱讚他的技術具有不可思議的前瞻性，還特別強調了他在處理底層高併發架構上的實力。
這也是吳恩達願意抽出寶貴時間，見一見這個來自華國的大一新生的主要原因。
當然，還有一個關鍵點：前段時間喬布斯主持的蘋果釋出會上，林淵作為唯一的華人面孔亮相了一分鐘，這事在矽谷高層圈子裡並不是秘密。
而吳恩達作為矽谷頂尖的學者，同時也是蘋果等科技巨頭的座上賓，自然也注意到了林淵。
“你就是林淵，對吧？”吳恩達拉開椅子，微笑著開口，“周教授在郵件裡對你的評價非常高。你真的對底層高併發和分散式計算，有自己獨到的想法嗎？”
面對這位真正在後世改變了整個人工智慧程序的學術泰斗，林淵心裡難免有些惶恐和緊張。
雖然他擁有來自 2035 年的跨時代技術視野，但在真正的奠基人面前，他依然保持著敬畏。
林淵迅速調整了一下情緒，坦誠地說：“吳教授，我對這方面確實有一些自己的心得，但我的基礎理論可能並不紮實，說出來怕達不到您心中的預期。”
吳恩達聽完笑了一下，擺了擺手：“你們華國人啊，什麼都好，就是有時候太謙虛了。在矽谷，如果你真的有這方面的能力，就應該大膽地去展示。這樣吧，我的實驗室最近剛好在做一個關於機器叢集分散式的課題，遇到了一個很難解決的高併發瓶頸。你過來，我們一起看一看，探討一下。”
林淵有些發懵，沒想到這位大佬這麼首接，連客套都省了，首接上黑板做題。
他轉過頭，看了一眼旁邊正無所事事的庾明軒，說道：“庾總，接下來的學術探討估計要很久，你先回酒店休息吧，晚點我忙完了打你電話。”
林淵這是在照顧庾明軒的感受。像他這種習慣了風月場所和商業談判的花花公子，讓他在實驗室裡乾坐幾個小時聽程式碼架構，估計能把他憋死，到時候走又不好意思走，還不如提前把他支開。
庾明軒一聽笑著說：“行，那你們聊，林總我先撤了，車子我給你留在這。”
等庾明軒離開後，吳恩達笑著帶林淵穿過走廊，來到了他的課題組機房。
機房的白板上畫滿了複雜的網路拓撲圖。吳恩達指著白板，開始闡述問題：“林淵，你看。我們目前在嘗試用多臺機器並行處理龐大的神經網路引數。但在高併發狀態下，所有的節點（Worker）都要頻繁地跟中央引數伺服器（Parameter Server）進行資料同步。節點一多，網路頻寬瞬間就被擠爆了，中央伺服器成了絕對的瓶頸。這個問題，你怎麼看？”
林淵盯著白板，腦海裡迅速翻閱起他從 2035 年帶回來的記憶。在那個年代，這種早期的分散式訓練瓶頸早就被一種叫做“環形同步”（Ring All-Reduce）的底層演算法徹底解決了。
林淵拿起馬克筆，在白板上畫了一個圓圈，開口道：“吳教授，為什麼一定要有一箇中央伺服器？如果把所有節點連成一個邏輯上的環形網路呢？”
吳恩達皺了皺眉：“環形？節點 1 傳給節點 2，節點 2 傳給 3？但這樣一來，資料跑完整個環的延遲太高了，根本無法滿足即時併發的需求。”
“不，資料不是整體傳輸的。”林淵在環上切了幾條線，“我們把龐大的引數陣列切分成和節點數量相等的碎塊。在第一步（Scatter-Reduce）裡，每個節點只負責把自己計算的那一小塊資料傳給下一個節點，同時接收上一個節點傳來的另一小塊資料。”
吳恩達推了推眼鏡，目光瞬間亮了起來：“同時收發不同的資料塊？這樣就不會出現單點擁堵了。”
林淵繼續說道：“對，因為所有節點的上下行頻寬都在被滿負荷利用。無論集群裡有 10 臺機器還是 100 臺機器，單次同步的通訊總量都是恆定的。這就是去中心化。”
吳恩達立刻轉身，拿起筆在黑板上快速寫下了一串公式。他敏銳的數學首覺瞬間將林淵的設想具象化：“如果總資料量是 K，節點數是 N。傳統的中央伺服器頻寬瓶頸是 O(N)，但按照你這個環形切塊的設想，每個節點在每一步只需要傳輸 rac{K}{N} 的資料。總的傳輸時間 T 大約等於 2(N-1)rac{K}{N}。當 N 足夠大時，通訊成本幾乎是個常數！”
