“這個大會,規格很高啊。”
“哈哈,因為有錢人多嘛。”
他說完這句話,李東則是上下打量了下他那套價格不菲的西裝
唐傑先是一怔,隨即哈哈大笑,擺著手往大門裡走。
“學校發的工資,學校發的工資。”
……
進了會場,李東才算真正見識了什麼叫頂會,ICM和這一比起來,確實顯得有些小氣了。
將近一萬人的註冊規模,幾層樓的會場早就被人群塞滿了。
而且海報廳都有記者在,因為有資本圈的大佬也在逛著這些展區。
而企業展區,各家的展臺一個賽一個的氣派大螢幕上滾著SOTA(當前最佳效能)級別的Demo,穿文化衫的員工見人就遞宣傳冊。
李東跟著水木的隊伍聽了一上午的報告。
不得不說,有幾場是真讓他開了眼界。
頭一場主旨報告,是GPT那邊的一位研究負責人講的他們這兩年悄悄押下重注的一條新路。
過去幾年,圈子裡卷的都是Pre-training(預訓練)的規模。
而他們換了打法,把算力槓桿翹到了Inference(推理)端。
簡單的說就是給模型引入System 2的慢思考機制,讓它在吐出答案前先在隱空間裡窮舉推理樹。
這樣一步一步生成思維鏈(CoT),走入死衚衕就觸發回溯機制,直到把邏輯閉環徹底打通再輸出結果。
而這種深層推理的泛化能力,根本沒法靠人力標註去微調,完全是靠RL(強化學習)結合自博弈硬生生刷出來的。
專門挑選數學證明和程式碼生成這類具備明確客觀真值(Ground Truth)的任務,模型推導對了就給高維獎勵訊號,錯了就切斷反向傳播。
成千上萬輪的PPO策略迭代下來,模型自己就湧現出了極為恐怖的試錯與糾偏本能。
臺上直接甩出了一張Test-Time Compute(測試時算力)的對數曲線。
同一套基座權重,只要允許模型在推理階段多消耗十倍的Token進行內部演算,Hard級別任務的準確率直接順著曲線呈現指數級爬升。
報告還沒講完臺下已經是一片低低的議論聲。
李東坐在水木的隊伍中間,心裡微微一動。
數學,恰恰就是這世上提供最優驗證獎勵反饋的終極資料集。
第二場的Oral是來自普林斯頓和卡內基梅隆的一支聯合團隊,講的是一種顛覆性的非Transformer底層架構。
他們拿狀態空間模型做線性遞迴,時間複雜度從平方砍到線性,百萬Token一口氣吞下去,視訊記憶體都不怎麼漲。
臺下搞理論的當場就槓上了,兩邊誰也說服不了誰。
。型模界世是的講員究研位一邊那inimeG場一後最於至
。理會學己自型模,片影喂接直,字文喂不們他
。界世維三個一出生空憑能就圖張一型模給,後最到練
數了有也致大裡心東李,來下聽午上一
。道變上化規正層底在全個個一,區卷效低的料語洗清和量數引積堆純單了出跳就早,頭巨的沿前最waL gnilacS在卡家幾這外國
。局破完上制機理推和構架在先誰是而,大更模規集叢卡萬的誰是再不的比
。點極了到銳敏實確,覺直學些這
。進跟裡線路海紅的舊在還家廠數多,國觀反
。化業商地落端B卷,數分的單榜刷,模規數引卷,調微令指用通灌猛
。上kcirT程工等分切憶記訊視者或化佳最訊通的練訓式散分在中集半多也告報
……過不
。西東的樣一不些一了出搞隊團國些一有也,全是不是也然當
。多很樣一人的碼始原文論要手舉下臺,豔驚樣一路思,的餾蒸我自做據數合量質高生向反型模大用篇一有還,的化疏稀ehcaC VK效高列序長做篇兩有
。路條這座基源開是的思意有更
。放開很還面介改魔,好得做齊對,宜便呼,重權源開的夏華是都的載九八有十型模層底,驗實融消跑今如們生士博的校名尖頂外國
。列前了在走國是倒反,上河城護態生條一這
……








