快科技10月9日消息，日前有媒體報道稱，百度正加緊訓練文心大模型4.0，已經(jīng)接近可發(fā)布狀態(tài)，這將是文心大模型3.5版本后，又一個重磅版本。

消息稱，文心大模型4.0進展比預期快很多，將是基礎(chǔ)模型的大升級，理解、生成、邏輯、記憶核心能力都將提升，特別是在邏輯推理、代碼和數(shù)學等方面提升最明顯。

根據(jù)我們獲得的最新消息，上述消息基本屬實。目前了解到，文心大模型4.0實際上已經(jīng)在小流量測試。

根據(jù)我們拿到的消息，文心大模型4.0的參數(shù)規(guī)模要大于目前所有公開發(fā)布參數(shù)的LLM，也是國內(nèi)首次使用萬卡集群訓練的大模型。這意味著文心大模型4.0的參數(shù)規(guī)模預計能突破萬億級別。

萬卡集群什么概念？國內(nèi)之前只有華為、阿里透露已建成萬卡AI集群，但我們都沒看到基于它推出的具體模型。萬卡集群就不容易建了，如果用起來發(fā)揮最大化作用則更難了。

據(jù)分析，正是因為飛槳的深度聯(lián)合，才能高效地基于萬卡集群訓練起如此規(guī)模的模型。

不僅訓練成本在增加，文心4.0的推理成本比3.5增加很多，我們還沒拿到具體每千token的推理成本，但據(jù)傳大概是此前的8-10倍，這還是在高利用率（MFU）的情況下。如果利用率更低，估計成本還會繼續(xù)增加。

不得不說，大模型真的很費錢。可見，打造領(lǐng)先的底層基礎(chǔ)打模型，就是一場巨頭的游戲。

根據(jù)IDC發(fā)布的首個大模型評估報告——《AI大模型技術(shù)能力評估報告，2023》，百度文心大模型3.5拿下12項指標的7個滿分，綜合評分第一，算法模型第一，行業(yè)覆蓋第一，綜合能力在眾多國產(chǎn)大模型中遙遙領(lǐng)先。

經(jīng)過全面升級后，文心大模型4.0的訓練速度、推理速度等將進一步提升，能否與GPT-4一戰(zhàn)甚至超越后者的表現(xiàn)，我們拭目以待。