“我們目前基於傳統SIMD架構做的AI加速核心,在影像識別和自然語言處理上的效能已經追平了輝達同級別產品,但功耗始終偏高。主要是資料搬運太頻繁,神經網路每一層都要從外部DRAM裡反覆載入權重,載入一次能耗比算一次還高。這個問題不解決,我們的AI晶片就只能用在伺服器端,塞不進車機和手機。”
他把功耗曲線逐層拆解開來,每拆一層就在螢幕上標一個對應的資料搬運量。
從卷積層到全連線層再到注意力機制,搬運量的峰值越來越高,整張圖看上去就像一面正在傾斜的牆。
王東來沒有直接回答。
他走到白板前拿起記號筆,畫了一個全新的架構草圖。
不是傳統的SIMD陣列,而是一種混合粒度的張量計算單元,粗粒度處理大規模矩陣乘法,細粒度處理稀疏化後的注意力計算。
兩者共用同一組片上快取,但排程邏輯分開。
“傳統GPU用SIMD堆算力,靠暴力計算碾壓神經網路。但AI推理任務的瓶頸不是算力,是資料搬運。每一層神經網路的權重都要從外部記憶體搬進計算單元,搬一次消耗的能量比算一次還多。你們的方案用大容量片上快取來減少搬運次數,方向對,但片上快取的容量終歸有限,快取再大,也裝不下整個GPT模型的權重。”
他在混合粒度張量計算單元的架構圖上添了幾筆,在片上快取和外部DRAM之間加了一個極簡的資料壓縮引擎。
“在資料進出片上快取的時候加一層硬體壓縮解壓邏輯,不是軟體壓縮,是直接做在矽片上的專用壓縮引擎。神經網路權重本身有大量冗餘,稀疏化之後大部分權重是零,非零部分也有很強的規律性。用輕量級的差分編碼把權重流壓縮到原來的幾分之一,資料搬運量就對應降下來了。”
周工盯著那張架構圖看了很久,眼神越來越亮。
他拿起紅色記號筆在資料壓縮引擎旁邊寫了幾行字,差分編碼、零值壓縮、自適應量化,每一行都是硬體壓縮領域的前沿方向,但真正做成矽片的沒有幾家。
看了一會兒,周工問了一個關鍵問題:壓縮解壓本身會帶來延遲開銷,如果延遲累積超過計算單元的空閒視窗,整體推理時間反而會被拖長。
王東來的回答更是沒有絲毫猶豫:壓縮解壓邏輯和計算流水線做並行化處理,不是先解壓再計算,是邊解壓邊計算。解壓完一個數據塊直接推進計算流水線,不等整個批次解壓完成。延遲開銷被計算流水線的吞吐率吃掉,淨功耗下降,淨延遲不增。
他在白板上寫下最後一行字,然後轉過身把記號筆放回槽裡。
周工看著那行字沉默了很長時間。
測試臺上那組還在跑的功耗曲線在螢幕上緩慢波動著,每一層神經網路的計算功耗被拆解成資料搬運和矩陣運算兩部分,前者佔比高得驚人。
他知道如果王東來提出的這個架構能跑通,國內AI晶片在車機端和手機端將實現從無到有的跨越。
他轉過身對團隊說了一句話:“把王總的混合粒度計算單元方案做成RTL級模擬,三天之內出結果。另外,通知梁總,AI晶片流片排期提前,光刻工廠那邊需要單獨排產線。”
實驗室裡頓時響起一片鍵盤敲擊聲。
幾個年輕工程師圍在測試臺前七嘴八舌地討論著硬體壓縮引擎的編碼方案,有人調出媧之前做過的神經網路權重稀疏性分析報告,把差分編碼的壓縮比逐層標出來。
那個從輝達跟周工一起跳過來的年輕工程師對著螢幕看了很久,忽然說了一句:“如果我們真把這東西做出來,以後輝達的GPU在端側推理上就沒法跟我們打了。不是價格戰,是直接從架構上抄近路,他們還在用SIMD堆算力,我們已經切到資料流驅動的張量計算了。”
周工沒有回答。
他只是看著白板上那張被畫得密密麻麻的架構圖,想起自己在輝達時期曾經反覆呼籲過用近存計算思路來打端側AI晶片,但每次都被優先順序更高的資料中心GPU專案壓下去。
現在他坐在唐都的實驗室裡,和一群年輕人一起重新做這件事,這條路終於有人肯認真走下去了。
第二天,王東來坐在辦公室裡審閱AI晶片團隊連夜跑出來的RTL模擬初版資料。
功耗曲線在螢幕上平穩下滑,混合粒度計算單元的排程延遲優於設計指標。
他拿起電容筆在報告上批了兩行字,流片節點提前,光刻工廠單獨排產線,優先保障AI晶片首批工程樣片交付,然後把報告推給媧存檔。
”。來出調佈分務業和數總工員的前目團集河銀把,媧“
。料資組一出跳時頓上幕螢
。站管託子工員的落剛剛和心中訓培線產、堂食群社、寓公才人的地各國全在佈分及以,上線務業心核等生河銀、天航河銀、導半河銀、源能河銀、超商河銀、飯好拼、遞快火星在佈分,萬一零百一了破突好正數工員總
。了家一第的中業企營民是經已,國到放,模規工僱的萬多百一
。多了不差也,比相企國和是算就
。漲再能還定肯量數工用,頭勢展發的技科河銀以,來出得看能都人眼明,且並
。等等電家河銀、業農河銀、超商河銀的花開地遍是說如比
”。用要天明我,裡這我到總彙之天一,人責負門部各接對案方,倍翻勵激期長的位崗心核,外另。化佳最步同補通、補房住、補餐。十之分百於不幅漲低最,調上遍普薪底員全求要,案方整調利福酬薪份一做“
”。認確人責負門部各發接直完擬,擬來你案方的整調。程流批審算預規常走要不,金資項專塊一劃裡金備預裁總從,來出告報份一列獨單,度進設建的站管託子工員和寓公才人“
”。近附%8在制控率潤利期後,錢賠以可期初,品造打要,主為工員團集以期初,條鏈全的中高學中到再學小到園兒從立,模規的育教河銀大擴年明,算預度年份一做,後最“
”。植種的平水高量質高行進,種品質新的來出發研生河銀的們我套配,模規植種的業農河銀大加“
。排安作工了行進力算級超用就即立,下有沒都點一媧,快很速語來東王








