“千億級引數的Loss曲面，強上全量Hessian矩陣純屬做夢，二階的預條件子連視訊記憶體都塞不進，只能退化到一階的Adam系硬磨。”
“如果先用您那套演算法重排，把引數空間正交化到近似對角陣……”
“預條件子，是不是就能直接降維成逐元素的標量縮放？”
他一說完，另外兩家的人也停下了手中正在記錄的筆，抬頭看向李東。
李東聽完點了點頭。
“路子是對的。”
“但你們光盯著算力和視訊記憶體了，問題的核心不在於算不算得起。”
“而在於你們根本不知道，該在哪個標度上去算。”
雅各布一怔：“標度？”
“Loss曲率不是一張靜態的地圖。”
李東說道。
“它跟著你的Batch Size縮，跟著學習率漂，還跟著網路的Width一起扭曲。”
“我那個演算法之所以成立，是因為Zeta運算元的譜特徵背後，有一套解析的Scaling Law兜底。”
“我是先吃透了規律，才敢去動算的。”
“而你們呢？”
“你們梯度的噪聲標度是怎麼做標定和對齊的？”
“網路Width翻一倍，這個Scale往哪邊漂移，你們跑過消融實驗嗎？”
雅各布握張了張嘴，沒出聲，整個人像是被這一問，好像讓他想到了什麼。
與此同時，李東的記憶宮殿裡。
大廳中央那座臨時書架上，現出了一份嶄新的殘篇。
【臨界Batch Size，由梯度噪聲的Scale唯一確定。】
【將學習率、批大小、網路寬度與深度，統一收斂至同一套Scaling Law解析式。】
【在千萬級引數的Proxy模型上定死全域性超參，借引數化的對稱性，零樣本無損遷移至萬億引數域。】
【若該定律成立，不同引數規模的Loss下降曲線，在對數座標系下必將塌縮為同一條母線。】
【至於Attention機制內的Softmax溫度超參如何隨寬度協同縮放……】
李東看著這個殘片，心裡已經服氣了。
在小模型上把戲排完，到大模型上直接Zero-shot首演，連彩排的場租都省了。
這幫人藏在肚子裡的東西，可比他們掛在網上的論文，值錢太多了，這就是經驗，或者說這特麼就是用錢燒出來的靈感。
？用麼什有來出想是但，來出想能也間時點花許或東李他
？嗎法想的己自證驗去後然，燒去錢有他
。錢筆這了掉省他替顯明驗經的布各雅在現而
。裡子本了進寫靈將馬立是乎幾，來神過回布各雅，裡實現
。了冰破就也裡室息休，頭個這開他了有
。了論討學的”地落上集叢卡萬在正真何如法算演維降“著繞圍場一了變演，答一問一的規常了離就流的來下接
。點痛遲延理的集叢洲了擲丟他，問提先率斯庫馬的inimeG
？牆理的纜底海住得扛能可麼怎，作域全種一為作法算演維降，步同跑洋平太著隔卡速加張萬十幾
。式模的”化規正步同非的合聚移漂期週與DGS-lacoL“拆練訓場整把，步同強棄放：法解的覆顛套一了出甩接直更，控可全完差誤斷截後分切法算演維降了明證，排重域區階高的點零ateZ用僅不東李而
。”量移漂“的重權次一齊對和取提去只步百幾上隔，法算演維降用利層外，DGS-lacoL的各跑各層底
。戲遊學數的致一了盤，局死理的寬頻洋把生生
。黑力算的點浮度低了出砸又著跟森伊的edualC，完悠忽東李被剛邊這斯庫馬
？粥鍋一攪法算演維降的值數淨乾要需把來過反會不會，值群離端極的噪帶些這，NaN、ekipS飆狂瘋時練訓預在型模大
。找好越就標座的上形流徵特，團抱是越量能為因，佈分尾重種這歡喜最而反，頭刺怕不但非排重維降，明挑地見針一東李
。野很也子路案方的出給他，境環噪帶的度低配適完法算演維降讓了為
。量能值極趕追地應適自去度刻點浮讓，格網化量勻均非的上域數對為構重接直式格值數層底把是而，斷截的暴搞不
。”案方決解“的來出不燒都金萬千幾用們頭巨直字字又卻，接嫁程工的法算演維降離不句句，鋒的回來個幾
……裡殿宮憶記的東李，頂灌醐醍的家學科席首位幾這著隨而
】。致一撲拓至維降寬頻輸傳從底徹，頸瓶的訓集洲，此自。量向移位的償補式顯被可是而，聲噪度梯為視再不度舊陳步同非【
】……開展應適自佈分量能沿聲噪化量令，度刻勻均非的上域數對為構重式格值數將【
。上架書了進薅他被麼這就，篇殘程工的城連值價份份一
。杯茶了下放，格維諾的茶喝靜安直一，候時個這在就
”。授教額……東李“
”。午上一了說你聽我“
”。度刻的走量能著跟，底基的角對似近，排重的段分“
”。的來出推裡式析解從是全，界差誤的它、律放的它、譜的它，件的來出得寫個一是atez為因，住得站都邊那atez在，條一每“
”。式析解有沒，型模的數引億萬個一可“
”。驗實有只，理定有沒邊那在界差誤的你，去樣取靠能只，來出得寫人沒，譜的它“
”。量程工是不怕恐，的著隔間中這，授教東李，界世的量測能只個一進接嫁，界世的析解個一從，法算演的你把“
”。學數的來出寫人有沒還段整一是“
。來下了靜安都人的子屋滿
。一微微是卻裡心東李
。號名的大麼這有士紳老個這怪難，啊士虛無下之名盛是底到
。”做能麼什憑“問在，生先老位這有只，做麼怎的午上一了問家學科席首位三
。質本的人悠忽東李了出點就子下一
。道說掩遮的分半有沒也他，了手到經已西東的要東李，過不
”。的著隔是“
”。寫們你替沒也字個一我天今，學數段那“
。人的裡屋圈一了看著笑他”。授教格維諾是可“
”。立去以可，理定有沒界，去以可，來出不寫譜“
”。事碼兩是都來從，修得值不路和，在存不路“
”。了兒這到畫圖地把我“
”。定們你，走不走“
。話說再有沒，眼一他了看深深格維諾
。稿手的字行一份一了出多，地息聲無悄，層頂最架書的殿宮憶記而
】……分部一的型模做，本計估差誤把，習學被以可界，方地的在存不界的析解【
……：東李
。深真的藏伙傢這
。裡屋在留人把要活死朗·維戴怪難
