聽到陳星這麼說，成文飛深吸一口氣，鼓起勇氣說道：“陳總，過去幾年我一首在想一個問題，目前大家都在做窄模型，也就是語音一套，做影像另一套網路，模型不能互相複用。”
“做的都是大規模神經網路、大型深度網路、無監督預訓練網路，準確的來說是先用大量無標註資料學通用特徵，再拿少量標註資料適配具體任務，Bengio、Hinton 都做過相關研究。”
“我就在想，那麼可不可以做一套巨型神經網路底座，在海量無標註公開資料上做無監督預訓練，學習通用世界知識，之後不需要完整重訓，簡單適配，就可以處理語言、對話、影像推理等大量不同任務。”
“它可以擁有巨大引數量、海量訓練語料、足夠強悍的並行算力，或者說我們這個模型不是為某一個單一功能寫死，而是先學常識，再去解決任務。”
“最後實現能自然對話、邏輯推理，接近人的認知。”
說完以後，成文飛觀察著陳星的表情，結果發現這位新老闆臉上充滿了驚訝，於是趕緊補充道，“陳總，我知道現在不可能首接實現成品，這也只是我的一個想法，但我們可以提前把所有底層基礎設施全部搭建完成。”
“這是我們長遠目標，目標。”
“現在可以為這個目標做好地基。”
陳星此時此刻內心處在狂喜之中，成文飛不愧是成文飛。
他說的是大規模神經網路，大型深度網路。
這些詞在未來有一個更加準確的稱呼。
叫做大模型！
2013年啊，成教授就己經有大模型的概念，通用模型的模糊概念了！
“不不不，成教授，你說的也是我想說的，我的設想就是構建一個規模足夠大的神經網路，先用海量無標註資料預訓練，學習世界的通用表徵，之後不需要全部重訓，只做少量調整，就可以處理語言、對話、甚至影像等多種任務。它不是 AGI 完整的通用人工智慧，但它是通向 AGI 的一塊核心基石。”
“為了擁有這塊基石，我才邀請成教授你到紅星來的。”
“而你說的這些，可以稱之為大模型。”
成文飛此時也產生了一種異樣的感覺。
陳總好懂啊。
陳總好懂我啊。
這套理論他之前在賓夕法尼亞的時候也和業內人士說過，只不過他們都說自己異想天開。
還大型深度學習網路，現在的CPU算力叢集怎麼可能處理得了海量資料。
更別提訓練了。
所以那時候成文飛就知道，CPU算力叢集，一定會被淘汰掉，效率太低太低了。
想實現真正的模型訓練，必須要有效率更高的方式，黴國那邊目前大家都在嘗試用圖形計算卡來實現，只不過還沒有廠商有成果和論文在學術界出現。
不過成文飛覺得，用分散式的GPU進行訓練，絕對是未來的方向，所以半個月前聽到甘良才說紅星在自研GPU和計算卡的時候，就明白一件事。
紅星的在一些方向上，是確定的，是開始行動的，是走在黴國很多機構和公司前面的。
“那麼陳總，要實現你所謂的大模型，我口中的大型深度網路，就必須要有足夠的算力，現在的CPU計算到了一定瓶頸，大家準備轉向GPU平行計算，那我想問一下，這方面咱們紅星是怎麼打算的？”
陳星不語，走到自己辦公桌前，並示意成文飛也過來。
。告報份那的己自給師大冬無了出拿後然
”。個這看看先你，授教“
