“一億五千萬引數的模型，至少需要幾百億Token的高質量語料來喂。十五億引數那個，可能需要上千億Token。”
他在“資料”兩個字下面重重畫了一道線。
“我們現在有什麼？西紅柿小說和引力的內部資料雖然多，但現在的簡易指令碼根本算不上成體系的清洗管線。”
樓天城皺著眉頭敲了敲白板，
“咱們這套1.0版本的管線洗出幾百GB的語料勉強能用，如果要喂出十五億引數，重複資料、低質內容全混在裡面……首接拿去訓練，模型學出來的東西會非常糟糕。”
“還有一點。”樓天城又補了一筆，
“如果未來想讓模型具備多模態理解能力，光靠文字遠不夠。影像資料、圖文配對資料，這些東西目前完全是空白。”
他轉過身看著顧嶼：
“千億Token級別的現代清洗管線、人工標註人力、影像語料來源。這三個缺口，任何一個解決不了，十五億引數的模型就只是個空殼。”
顧嶼沒有回答。
他看著白板上樓天城畫的那個流程圖。
“不急。”
“資料的事情我己經在安排了。” 顧嶼語氣雲淡風輕。
樓天城點了點頭。
“你現在要做的事情只有一件。”顧嶼重新看向樓天城，
“利用你手上的並行訓練框架，在最短時間內把大語言模型的底層架構搭起來。資料介面、分散式訓練管線、混合精度支援，全部打通。等語料灌進來的那一天，我不想再等哪怕一個小時。”
“明白。”樓天城應了一聲，己經在腦子裡開始拆解任務了。
“專案從今天起正式立項。既然是改變技術路線的終極兵器，總得有個響亮的代號。”
顧嶼看著面前這三位頂尖大腦，“你們有什麼想法？”
安德烈摸了摸下巴濃密的胡茬，操著帶有口音的中文說道：
“既然是處理語言的模型，叫‘巴別塔’怎麼樣？打破人類的語言壁壘。”
“寓意不好，巴別塔最後可是塌了的。”
任少卿搖搖頭，思索著開口，
“或者叫‘盤古’？開天闢地，比較有咱們的特色。”
樓天城推了推眼鏡，提議道：
“要不乾脆叫‘矩陣’？畢竟底層邏輯全是巨大的矩陣相乘。”
顧嶼聽著他們的討論，笑了笑。
他站起身，走到白板前，抽出一支黑色馬克筆。
”。問拷極終的限極知未對場一是這。花火慧智的現湧一那找尋去，裡料資量海和片晶基矽堆這向是，的做要們我。冷冰太又符算，緲縹太話神“
。字大個兩下寫力用角上右板白在，帽筆掉拔嶼顧
。問天
。案答個一出要行強力算用要，們他而。解其得不，天問原屈
，人三向看頭轉，槽筆回丟手隨筆將嶼顧”。問天號代，案專個這“
”。別級億千的來未至甚，億五十擊衝接首要們我，位到料語等。號一問天是只數引萬千五億一“
。火團一了起燃地驀中眼雙的紅滿佈，遍一了唸聲低，字的勁遒個兩那著看卿任
。話說人無間時一，板白著盯也烈德安和城天樓
。邃深神眼，們他著看嶼顧
。事的年0202是，”現湧“到識見界世全讓次一第，型模言語大的構架似類世前
。2-TPG的安不到次首類人讓年9102是，的標對數引億五十而，1-TPG的出釋年8102在IAnepO是的標對數引萬千五億一
。穿鑿底徹間時年三用，人群這著帶要他，林森暗黑的索年五了花人別
。了開推地匆匆急面外從人被門溫恆的室驗實，著想正
”。總顧“
。來傳口門從音聲的軍從魏
”？事麼什“，過轉嶼顧”。魏老“
：音聲了低，前近到走軍從魏
”。了去回砸被又午下，天半了撐只後之場進億百二千一的隊家國。去出不賣都賣連，上板停跌在死封量無個量大，竭枯全完乎幾流市兩。停跌千續繼天今，後之點千西破跌五週上A。了事出場市“
。城天樓和卿任的邊旁眼一了看，頓了頓他
。係關沒意示，手擺了擺嶼顧
”。線平強發票批一有會還能可天明，法跌個這在現照按。倉環連盤資配，踏踩平強盤資融。控失全完經己緒慌恐“：說續繼軍從魏
。抱臂雙，邊板白在靠嶼顧
”？了樣麼怎得備準金資“
。神的雜複種某了變重凝從表的軍從魏，口齣一話句這
，說他”。了倉建買散分部全點低在經己期前，金現億百兩那的籠回國“
”。用以可時隨，桿槓無，金現全。了來進部全經己也在現，金資億百三的境過道通IDF和IIFQ過岸離“
。模規的億百五計合後後前前
。間時的上機手看了看他。表的餘多有沒嶼顧
”。了場們我該“
”們它花“
