第399章 李東來了
中午休息的時候，主會場外的大廳裡。
人群三三兩兩的湊在一起，也不知道在討論些什麼，時不時的還會爆發出一陣的老錢笑聲。
李東和唐傑站在大廳一角。
“怎麼樣，聽出門道沒有？”
唐傑端著一杯咖啡問道。
李東：“底層正規化全在切變道。”
“眼光夠毒的呀。”
唐傑有些詫異的說道。
“那你再往深處琢磨琢磨，這幫巨頭為什麼不約而同，非要趕在這個節骨眼上改寫技術路線？”
李東看著他：“為什麼？”
“撞上Data Wall（資料牆）了唄。”
“網際網路上那些高質量的預訓練語料，Github開原始碼、arXiv論文庫、優質百科，早就被各家用爬蟲吸乾了。”
“萬億引數規模的模型每年胃口都在變大，但是現在大家都沒東西餵了。”
“所以你看今天台上講的那些套路。”
唐傑教授抬了抬下巴。
“在Inference端堆算力，靠慢思考平攤成本，這叫避開資料牆。”
“花重金搞RLHF，弄一套刁鑽的Reward Model去給生成的合成數據打分提純，靠模型自己左右互搏，這叫虛空造資料。”
“說穿了全是被高質量資料枯竭給硬生生逼出來的。”
李東若有所思地點了點頭，然後又想到了一個問題。
“那模型架構呢？頂會的Paper全公開了，哪怕只照著公式復現他們不怕別人追上嗎？”
“Paper這玩意兒，只是個前瞻PR。”唐傑笑了笑說道。
“可真正拉開代差的核心壁壘有兩樣，Paper裡從來都不會寫半個字。”
“一樣是Infra，另一樣是基於真實互動反饋的資料飛輪。”
“這個護城河一旦轉起來，後來的人光靠砸錢買算力，是不可能彎道超車的。”
李東沉默了。
就在這時一個頭發花白的老者端著咖啡走了過來，隔著幾步就笑著打招呼。
“唐！”
。手握去上迎著笑也，看一頭回傑唐
。面幾過也壇論學的別在人兩，驗實制控的署部側端跑型模大言語-覺視的源開們他傑唐用在直一就起年兩前，的向方人機和慧智做，授教金的TSIAK是人來
。坐一坐裡室驗實們他去後會傑唐請邀就口張，行不得熱授教金，主道東做國韓回一這
。道紹介地然自很傑唐句幾了套客
”。授教東李是位這，下一紹介您給，授教金“
。字名個這遍一了唸默裡，手出地貌禮授教金”。會幸，授教李“
。東李
。耳點有著聽，字名這
。句一了補傑唐，夫工的磨琢自暗他在就
”。主得獎茲爾菲“
。了住僵都人個整，手的東李著握授教金
。了調變點哦有都音聲連後然
”！哦“
”！呀您是來原“
。可不式方絡聯個留要非，機手掏是又，仰久是又，下幾好了晃連手的東李著握，了沒就早持矜點那前先授教金
。了人真著逮算可回這，告報的形流維高場做去授教李請想直一邊那院究研學科礎基們他說還前走臨
。來過了湊人有又，走剛腳前授教金
。人責負姓何的邊那雲慧智廠大家一國是回這
。的很是還以所，行同是上態生端B在竟畢邊兩，呼招了打傑唐同地氣氣客客先他
。程流的樣一是也總何位這，候時的他給紹介東李把傑唐等
