OpenAI長(zhǎng)期霸榜的SuperCLUE（中文大模型測(cè)評(píng)基準(zhǔn)），終于被國(guó)產(chǎn)大模型反將一軍。

事情是這樣的。

自打SuperCLUE問(wèn)世以來(lái)，成績(jī)第一的選手基本上要么是GPT-4，要么是GPT-4 Turbo，來(lái)感受一下這個(gè)feel：

（PS：共有6次成績(jī)，分別為2023年的9月-12月和2024年的2月、4月。）

△圖源：SuperCLUE官方

但就在最近，隨著一位國(guó)產(chǎn)選手申請(qǐng)的出戰(zhàn)，這一局面終是迎來(lái)了變數(shù)。

SuperCLUE團(tuán)隊(duì)對(duì)其進(jìn)行了一番全方位的綜合性測(cè)評(píng)，最終官宣的成績(jī)是：

總分80.03分，超過(guò)GPT-4 Turbo的79.13分，成績(jī)第一！

△圖源：SuperCLUE官方公眾號(hào)

而這位國(guó)產(chǎn)大模型選手，正是來(lái)自商湯科技的日日新5.0（SenseChat V5）。

并且SuperCLUE還給出了這樣的評(píng)價(jià)：

刷新了國(guó)內(nèi)大模型最好成績(jī)。

那么商湯在SuperCLUE的這個(gè)“首次”，又是如何解鎖的呢？

綜合、文科國(guó)內(nèi)外第一，理科國(guó)內(nèi)第一

首先我們來(lái)看下這次官方所搭建“擂臺(tái)”的競(jìng)技環(huán)境。

出戰(zhàn)選手：SenseChat V5（于5月11日提供的內(nèi)測(cè)API版本）

評(píng)測(cè)集：SuperCLUE綜合性測(cè)評(píng)基準(zhǔn)4月評(píng)測(cè)集，2194道多輪簡(jiǎn)答題，包括計(jì)算、邏輯推理、代碼、長(zhǎng)文本在內(nèi)的基礎(chǔ)十大任務(wù)。

△圖源：SuperCLUE官方報(bào)告

模型GenerationConfig配置：

temperature=0.01

repetition_penalty=1.0

top_p=0.8

max_new_tokens=2048

stream=false

至于具體的評(píng)測(cè)方法，SuperCLUE在已發(fā)布的相關(guān)報(bào)告中也有所披露：

△圖源：SuperCLUE官方報(bào)告

以上就是SuperCLUE公開(kāi)的競(jìng)技環(huán)境配置。

至于結(jié)果，除了剛才我們提到的綜合成績(jī)之外，官方還從文科和理科兩個(gè)維度，再做了細(xì)分的評(píng)測(cè)。

SenseChat V5在文科上的成績(jī)依然是打破了國(guó)內(nèi)大模型的紀(jì)錄——

以82.20分的成績(jī)位居第一，同樣超越了GPT-4 Turbo。

△圖源：SuperCLUE官方公眾號(hào)

在理科成績(jī)上，雖然SenseChat V5此次并沒(méi)有超越GPT-4-Turbo（低了4.35分），但整體來(lái)看，依舊在國(guó)內(nèi)大模型選手中首屈一指，位列國(guó)內(nèi)第一。

△圖源：SuperCLUE官方公眾號(hào)

除了文理科之外，SuperCLUE也還從國(guó)內(nèi)和國(guó)外的整體平均水平上做了對(duì)比。

例如和國(guó)內(nèi)大模型平均水平相比，其各項(xiàng)成績(jī)的“打開(kāi)方式”是這樣的：

△圖源：SuperCLUE官方公眾號(hào)

而在與國(guó)外選手做性能對(duì)比時(shí)，我們可以明顯看到SenseChat V5文科能力優(yōu)于國(guó)外選手，數(shù)理能力也非常優(yōu)秀，代碼能力依然有提升空間。

△圖源：SuperCLUE官方公眾號(hào)

不過(guò)有一說(shuō)一，評(píng)測(cè)分?jǐn)?shù)定然是代表大模型性能的一方面，但在應(yīng)用為王的當(dāng)下，更重要的一點(diǎn)或許就得看用的效果了。

實(shí)測(cè)SenseChat V5

SenseChat V5早在4月底便已經(jīng)集成到了“商量”在線的對(duì)話應(yīng)用中，因此我們現(xiàn)在就可以出題對(duì)它做一番考驗(yàn)。

在邏輯測(cè)試方面，帶有文字陷阱的腦筋急轉(zhuǎn)彎，可以說(shuō)是測(cè)試一個(gè)AI能力很好的例子，比如：

《紅樓夢(mèng)》全書(shū)有百萬(wàn)字，“紅樓夢(mèng)”有幾個(gè)字?

若是仔細(xì)觀察這句話，不難發(fā)現(xiàn)其實(shí)句子前后并沒(méi)有太大的關(guān)聯(lián)，是一個(gè)比較典型的腦筋急轉(zhuǎn)彎。

對(duì)此，SenseChat V5給出的答案是：

《紅樓夢(mèng)》作為中國(guó)古典文學(xué)的巔峰之作，其全文字?jǐn)?shù)大約在70萬(wàn)到80萬(wàn)字之間，具體字?jǐn)?shù)根據(jù)不同版本稍有差異。而標(biāo)題“紅樓夢(mèng)”這三個(gè)字，自然是只有三個(gè)字。這個(gè)標(biāo)題凝練而富有深意，象征著作品的夢(mèng)幻色彩和對(duì)封建家族興衰的深刻反思。

我們可以看到SenseChat V5不僅找出了問(wèn)題的陷阱并做出了分析，給出的答案也是正確的。

對(duì)于數(shù)學(xué)的能力，我們?cè)O(shè)置了這樣的一個(gè)問(wèn)題：

假設(shè)有一個(gè)池塘，里面有無(wú)窮多的水?，F(xiàn)有2個(gè)空水壺，容積分別為5升和6升。如何只用這2個(gè)水壺從池塘里取得3升的水。

同樣的，SenseChat V5依舊是給出了每一個(gè)詳細(xì)的步驟和分析，并得到了最終結(jié)果。

更直接的數(shù)學(xué)問(wèn)題，例如找數(shù)字之間的規(guī)律，SenseChat V5也是信手拈來(lái)：

在中文理解方面，即使是給SenseChat V5一大段文言文，并且上難度連環(huán)發(fā)問(wèn)，它是否可以hold得?。?/p>

請(qǐng)看結(jié)果：

最后，有請(qǐng)“弱智吧Benchmark”：

網(wǎng)吧能上網(wǎng)，為什么弱智吧不能上弱智？

嗯，確實(shí)是有點(diǎn)實(shí)力在身上的。

如何做到的？

其實(shí)對(duì)于這個(gè)問(wèn)題，商湯在4月底將自家日日新大模型SenseNova版本迭代到5.0之際，就已經(jīng)有所透露；當(dāng)時(shí)商湯鎖定的定位就是全面對(duì)標(biāo)GPT-4 Turbo。

具體到技術(shù)，可以分為三大方面：

采用MoE架構(gòu)

基于超過(guò)10TB tokens訓(xùn)練，擁有大量合成數(shù)據(jù)

推理上下文窗口達(dá)到200K

首先，為了突破數(shù)據(jù)層面的瓶頸，商湯科技使用了超過(guò)10T的tokens，確保了高質(zhì)量數(shù)據(jù)的完整性，使得大模型對(duì)客觀知識(shí)和世界有了基本的認(rèn)知。

商湯還生成了數(shù)千億tokens的思維鏈數(shù)據(jù)，這是此次數(shù)據(jù)層面創(chuàng)新的關(guān)鍵，能夠激發(fā)大模型的強(qiáng)大推理能力。

其次，在算力層面，商湯科技通過(guò)聯(lián)合優(yōu)化算法設(shè)計(jì)和算力設(shè)施來(lái)提升性能：算力設(shè)施的拓?fù)錁O限用于定義下一階段的算法，而算法的新進(jìn)展又反過(guò)來(lái)指導(dǎo)算力設(shè)施的建設(shè)。

這也是商湯AI大裝置在算法和算力聯(lián)合迭代上的核心優(yōu)勢(shì)。

在其它細(xì)節(jié)方面，例如訓(xùn)練策略上的創(chuàng)新，商湯將訓(xùn)練過(guò)程分為三個(gè)大階段（預(yù)訓(xùn)練、監(jiān)督微調(diào)、RLHF）和六個(gè)子階段，每個(gè)階段專注于提升模型的特定能力。

例如，單是在預(yù)訓(xùn)練這個(gè)階段，又可以細(xì)分為三個(gè)子階段：初期聚焦于語(yǔ)言能力和基礎(chǔ)常識(shí)的積累，中期擴(kuò)展知識(shí)基礎(chǔ)和長(zhǎng)文表達(dá)能力，后期則通過(guò)超長(zhǎng)文本和復(fù)雜思維數(shù)據(jù)進(jìn)一步拔高模型能力。

因此在預(yù)訓(xùn)練結(jié)束之際，整個(gè)模型就已經(jīng)擁有了較高水平的基礎(chǔ)能力；但此時(shí)它的交互能力卻還沒(méi)有被激發(fā)出來(lái)，也就來(lái)到了第二階段的監(jiān)督微調(diào)（SFT）和第三階段的人類反饋強(qiáng)化學(xué)習(xí)（RLHF）。

整體可以理解為先培養(yǎng)模型遵循指令和解決問(wèn)題的能力，再調(diào)節(jié)其表達(dá)風(fēng)格以更貼近人類的表達(dá)方式。接著，通過(guò)多維度的人類反饋強(qiáng)化學(xué)習(xí)過(guò)程，進(jìn)一步改進(jìn)模型的表達(dá)方式和安全性。

除此之外，商湯對(duì)于大模型的能力還有獨(dú)到的三層架構(gòu)（KRE）的理解。

首先是在知識(shí)，是指世界知識(shí)的全面灌注。

目前大模型等新質(zhì)生產(chǎn)力工具近乎都是基于此來(lái)解決問(wèn)題，也就是根據(jù)前人已經(jīng)解決過(guò)的問(wèn)題的方案，來(lái)回答你的問(wèn)題。

這可以認(rèn)為是大模型能力的基本功，但更為高階的知識(shí)，應(yīng)當(dāng)是基于這樣能力下推理得到的新知識(shí)，這也就是這個(gè)架構(gòu)的第二層——推理，即理性思維的質(zhì)變提升。

這一層的能力是可以決定大模型是否夠聰明、是否可以舉一反三的關(guān)鍵和核心。

再在此之上，便是執(zhí)行，是指世界內(nèi)容的交互變革，也就是如何跟真實(shí)世界產(chǎn)生互動(dòng)（就目前而言，具身智能在這一層是潛力股般的存在）。

三者雖相互獨(dú)立，但層與層之間也是緊密關(guān)聯(lián)，打一個(gè)較為形象的比喻就是“知識(shí)到推理是像大腦，推理到執(zhí)行則像小腦”。

在商湯看來(lái)，這三層的架構(gòu)是大模型應(yīng)當(dāng)具備的能力，而這也正是啟發(fā)商湯構(gòu)建高質(zhì)量數(shù)據(jù)的關(guān)鍵。

One More Thing

其實(shí)對(duì)于大模型測(cè)評(píng)這事，業(yè)界質(zhì)疑的聲音也是層出不窮，認(rèn)為是“刷分”、“刷榜”、“看效果才是最重要的”。

對(duì)于這樣敏感的問(wèn)題，商湯在與量子位的交流過(guò)程中也是直面并給出了他們的看法：

無(wú)論從用戶選擇合適模型的角度，還是從研究者進(jìn)行操作研究的需要來(lái)看，對(duì)模型能力的評(píng)價(jià)是必不可少的。

這不僅幫助用戶和研究者了解不同模型的性能，也是推動(dòng)模型發(fā)展的關(guān)鍵因素。

如果只針對(duì)一個(gè)公開(kāi)的評(píng)測(cè)集進(jìn)行優(yōu)化（即刷分），是有可能提高模型在該評(píng)測(cè)集上的分?jǐn)?shù)的。

評(píng)測(cè)不應(yīng)只依賴單一數(shù)據(jù)集，而應(yīng)通過(guò)多個(gè)評(píng)測(cè)集和第三方閉卷考試等方式相互印證，以此來(lái)得到更全面、更有說(shuō)服力的模型性能評(píng)估。

以及對(duì)于國(guó)內(nèi)近期各個(gè)大模型廠商正打得熱火朝天的價(jià)格戰(zhàn)，商湯將眼光放在了提供更深的端到端產(chǎn)品價(jià)值上，特別是在具備無(wú)限潛力且與生活應(yīng)用更接近的移動(dòng)端上，通過(guò)端云協(xié)同實(shí)現(xiàn)更優(yōu)的計(jì)算成本但不損害模型的綜合能力。

這或許暗示了商湯將通過(guò)技術(shù)創(chuàng)新和優(yōu)化成本結(jié)構(gòu)，為未來(lái)可能入局的價(jià)格競(jìng)爭(zhēng)做好了自己的規(guī)劃。

參考鏈接：

[1]https://www.superclueai.com/

[2]https://mp.weixin.qq.com/s/3pfOKtG6ar2h2fR6Isv_Xw