谷歌殺回來了！新版Gemini跑分超o1登頂?shù)谝?/h1>
來源：量子位 編輯：非小米 時(shí)間：2024-11-15 15:40人閱讀
鯊瘋了！谷歌新版Gemini超越o1，強(qiáng)勢登頂競技場總榜第一！
在經(jīng)6000+網(wǎng)友匿名投票后，不僅數(shù)學(xué)成績和學(xué)霸o1相當(dāng)，還拿下其它5個(gè)單項(xiàng)第一。
新模型名為Gemini（Exp 1114），成績一公布，連CEO皮猜也親自飛奔來站臺(tái)。
而競技場官方也在第一時(shí)間公布喜訊，并祝賀谷歌：
恭喜達(dá)到這一非凡里程碑！
這下尷尬了！說好的谷歌正在遭遇瓶頸呢？沒想到人家反手就是一個(gè)王炸。
怕了怕了，或許，只有OpenAI立即發(fā)布滿血版o1才能與之一戰(zhàn)了？
目前新模型可在谷歌AI Studio體驗(yàn)，官方后續(xù)也計(jì)劃提供API。
網(wǎng)友們也紛紛猜測，難道這就是傳說中的Gemini 2——
拿下7項(xiàng)第一，數(shù)學(xué)也和o1不分伯仲
一夜之間，競技場Imsys排名再被刷新：
從總榜來看，谷歌新模型Gemini（Exp 1114）分?jǐn)?shù)直漲40+，擠下了之前一直霸榜的OpenAI模型（包括o1-preview、GPT-4o）。
而且假如正面1v1遇敵，新Gemini貌似都有一半及以上概率取勝。
整體勝率熱圖顯示，Gemini（Exp 1114）對(duì)戰(zhàn)4o-latest勝率為50%，對(duì)戰(zhàn)o1-preview勝率為56%，對(duì)戰(zhàn)Claude-3.5-Sonnet勝率為62%。
同時(shí)，Gemini（Exp 1114）在單項(xiàng)上也很能打，一舉拿下6個(gè)第一，包括：
-復(fù)雜提示（Hard Prompts）：模型處理復(fù)雜或困難提示的能力；
-數(shù)學(xué)；
-創(chuàng)意寫作；
-指令遵循：評(píng)估模型遵循給定指令的能力；
-長查詢處理（Longer Query）：衡量模型處理較長查詢的能力；
-多輪對(duì)話（Multi-Turn）：模型在多輪對(duì)話中保持上下文連貫性的能力；
要說最大看點(diǎn)，還是Gemini（Exp 1114）竟能與o1模型在數(shù)學(xué)能力上不分伯仲。
要知道，據(jù)OpenAI官方說法，o1不需要專門訓(xùn)練，就能直接拿下數(shù)學(xué)奧賽金牌，甚至可以在博士級(jí)別的科學(xué)問答環(huán)節(jié)上超越人類專家。
不過比較遺憾的是，對(duì)于寫代碼這項(xiàng)重磅功能，Gemini（Exp 1114）雖說相較于谷歌上一版本有所改進(jìn)，但仍然未能擠進(jìn)前三。（o1-mini/preview仍處于領(lǐng)先地位）
另外，在風(fēng)格控制下，Gemini-Exp-1114也和前三無緣，甚至不及自家的Gemini-1.5-pro。（排在o1、4o-latest和Sonnet之后）
解釋一下，風(fēng)格控制（Style Control）是競技場今年新推出的功能，確保分?jǐn)?shù)反映模型真正解決問題的能力，而不是用漂亮的格式、增加回答長度。
不過也有意外之喜，Gemini-Exp-1114這一次在視覺能力上拿下第一，超越了GPT-4o。
整體看下來，對(duì)于谷歌這次的反超，大家也感到十分意外。
目前，Gemini-Exp-1114已經(jīng)可以在谷歌AI Studio體驗(yàn)，且官方計(jì)劃后續(xù)提供API。
這不，有很多網(wǎng)友已經(jīng)上手測試了，但好像爭議蠻多——
網(wǎng)友反應(yīng)不一
先總結(jié)一下，通過網(wǎng)友測試，目前可知Gemini-Exp-1114的以下信息：
擁有32k上下文窗口
模型回答知識(shí)截止日期為2023年4月，但回答結(jié)果會(huì)不一樣
加上了思維鏈
其中，32k上下文被大家狠狠吐槽。有人直言相比200萬上下文窗口的Gemini 1.5，擱這兒不升反降呢！
興許是感受到大家的怨懟了，谷歌AI Studio負(fù)責(zé)人趕緊出來打圓場：馬上更！馬上更！
安撫好眾人情緒后，大家終于樂顛顛曬起了使用反饋。
透過其中一位小哥的觀察，Gemini-Exp-1114這次也是用上了思維鏈，在回答時(shí)也能像人類一樣一步步思考了。
而且，在數(shù)學(xué)能力上確實(shí)不錯(cuò)？
Gemini-Exp-1114正確回答了2024美國數(shù)學(xué)奧林匹克預(yù)選賽II 1-8題。
甚至相對(duì)弱項(xiàng)的編碼，也有人第一次嘗試就成功了。
然而，翻車總是難免的。
有人問了基準(zhǔn)測試中的物理問題，結(jié)果Gemini-Exp-1114雖然有思維鏈加持，卻仍然回答錯(cuò)誤。
甚至老生常談的數(shù)字比大小和數(shù)草莓中的“r”，竟還是失敗。
更搞笑的是，有人問Gemini-Exp-1114“你叫什么？”
結(jié)果回答了claude（doge）。
實(shí)際上，大家一直在猜測Gemini-Exp-1114會(huì)不會(huì)是傳說中谷歌計(jì)劃更新的Gemini 2。
但根據(jù)實(shí)測，相當(dāng)一部分網(wǎng)友出來表示否定。
畢竟，它好像連舊版1.5 Pro會(huì)的問題也無法解決。
更有人聲稱，這是谷歌推遲發(fā)布更大模型（即Gemini 2）的策略，先弄一個(gè)殘血版讓大家玩玩，這樣就別急著催更了。
結(jié)合CEO皮猜順勢放煙霧彈的做法，好像又有點(diǎn)道理（doge）！
AI Studio體驗(yàn)地址：https://aistudio.google.com/prompts/new_chat
競技場完整榜單：https://lmarena.ai/?leaderboard
參考鏈接：
[1]https://x.com/lmarena_ai/status/1857110672565494098
[2]https://x.com/imxiaohu/status/1857183367365894487
[3]https://x.com/OfficialLoganK/status/1857106089063362768
[4]https://x.com/sundarpichai/status/1857114106928718329
分享到：
本站所有文章、數(shù)據(jù)、圖片均來自互聯(lián)網(wǎng),一切版權(quán)均歸源網(wǎng)站或源作者所有。
如果侵犯了你的權(quán)益請(qǐng)來信告知我們刪除。郵箱：business@qudong.com
鯊瘋了！谷歌新版Gemini超越o1，強(qiáng)勢登頂競技場總榜第一！
在經(jīng)6000+網(wǎng)友匿名投票后，不僅數(shù)學(xué)成績和學(xué)霸o1相當(dāng)，還拿下其它5個(gè)單項(xiàng)第一。
新模型名為Gemini（Exp 1114），成績一公布，連CEO皮猜也親自飛奔來站臺(tái)。
而競技場官方也在第一時(shí)間公布喜訊，并祝賀谷歌：
恭喜達(dá)到這一非凡里程碑！
這下尷尬了！說好的谷歌正在遭遇瓶頸呢？沒想到人家反手就是一個(gè)王炸。
怕了怕了，或許，只有OpenAI立即發(fā)布滿血版o1才能與之一戰(zhàn)了？
目前新模型可在谷歌AI Studio體驗(yàn)，官方后續(xù)也計(jì)劃提供API。
網(wǎng)友們也紛紛猜測，難道這就是傳說中的Gemini 2——
拿下7項(xiàng)第一，數(shù)學(xué)也和o1不分伯仲
一夜之間，競技場Imsys排名再被刷新：
從總榜來看，谷歌新模型Gemini（Exp 1114）分?jǐn)?shù)直漲40+，擠下了之前一直霸榜的OpenAI模型（包括o1-preview、GPT-4o）。
而且假如正面1v1遇敵，新Gemini貌似都有一半及以上概率取勝。
整體勝率熱圖顯示，Gemini（Exp 1114）對(duì)戰(zhàn)4o-latest勝率為50%，對(duì)戰(zhàn)o1-preview勝率為56%，對(duì)戰(zhàn)Claude-3.5-Sonnet勝率為62%。
同時(shí)，Gemini（Exp 1114）在單項(xiàng)上也很能打，一舉拿下6個(gè)第一，包括：
-復(fù)雜提示（Hard Prompts）：模型處理復(fù)雜或困難提示的能力；
-數(shù)學(xué)；
-創(chuàng)意寫作；
-指令遵循：評(píng)估模型遵循給定指令的能力；
-長查詢處理（Longer Query）：衡量模型處理較長查詢的能力；
-多輪對(duì)話（Multi-Turn）：模型在多輪對(duì)話中保持上下文連貫性的能力；
要說最大看點(diǎn)，還是Gemini（Exp 1114）竟能與o1模型在數(shù)學(xué)能力上不分伯仲。
要知道，據(jù)OpenAI官方說法，o1不需要專門訓(xùn)練，就能直接拿下數(shù)學(xué)奧賽金牌，甚至可以在博士級(jí)別的科學(xué)問答環(huán)節(jié)上超越人類專家。
不過比較遺憾的是，對(duì)于寫代碼這項(xiàng)重磅功能，Gemini（Exp 1114）雖說相較于谷歌上一版本有所改進(jìn)，但仍然未能擠進(jìn)前三。（o1-mini/preview仍處于領(lǐng)先地位）
另外，在風(fēng)格控制下，Gemini-Exp-1114也和前三無緣，甚至不及自家的Gemini-1.5-pro。（排在o1、4o-latest和Sonnet之后）
解釋一下，風(fēng)格控制（Style Control）是競技場今年新推出的功能，確保分?jǐn)?shù)反映模型真正解決問題的能力，而不是用漂亮的格式、增加回答長度。
不過也有意外之喜，Gemini-Exp-1114這一次在視覺能力上拿下第一，超越了GPT-4o。
整體看下來，對(duì)于谷歌這次的反超，大家也感到十分意外。
目前，Gemini-Exp-1114已經(jīng)可以在谷歌AI Studio體驗(yàn)，且官方計(jì)劃后續(xù)提供API。
這不，有很多網(wǎng)友已經(jīng)上手測試了，但好像爭議蠻多——
網(wǎng)友反應(yīng)不一
先總結(jié)一下，通過網(wǎng)友測試，目前可知Gemini-Exp-1114的以下信息：
擁有32k上下文窗口
模型回答知識(shí)截止日期為2023年4月，但回答結(jié)果會(huì)不一樣
加上了思維鏈
其中，32k上下文被大家狠狠吐槽。有人直言相比200萬上下文窗口的Gemini 1.5，擱這兒不升反降呢！
興許是感受到大家的怨懟了，谷歌AI Studio負(fù)責(zé)人趕緊出來打圓場：馬上更！馬上更！
安撫好眾人情緒后，大家終于樂顛顛曬起了使用反饋。
透過其中一位小哥的觀察，Gemini-Exp-1114這次也是用上了思維鏈，在回答時(shí)也能像人類一樣一步步思考了。
而且，在數(shù)學(xué)能力上確實(shí)不錯(cuò)？
Gemini-Exp-1114正確回答了2024美國數(shù)學(xué)奧林匹克預(yù)選賽II 1-8題。
甚至相對(duì)弱項(xiàng)的編碼，也有人第一次嘗試就成功了。
然而，翻車總是難免的。
有人問了基準(zhǔn)測試中的物理問題，結(jié)果Gemini-Exp-1114雖然有思維鏈加持，卻仍然回答錯(cuò)誤。
甚至老生常談的數(shù)字比大小和數(shù)草莓中的“r”，竟還是失敗。
更搞笑的是，有人問Gemini-Exp-1114“你叫什么？”
結(jié)果回答了claude（doge）。
實(shí)際上，大家一直在猜測Gemini-Exp-1114會(huì)不會(huì)是傳說中谷歌計(jì)劃更新的Gemini 2。
但根據(jù)實(shí)測，相當(dāng)一部分網(wǎng)友出來表示否定。
畢竟，它好像連舊版1.5 Pro會(huì)的問題也無法解決。
更有人聲稱，這是谷歌推遲發(fā)布更大模型（即Gemini 2）的策略，先弄一個(gè)殘血版讓大家玩玩，這樣就別急著催更了。
結(jié)合CEO皮猜順勢放煙霧彈的做法，好像又有點(diǎn)道理（doge）！
AI Studio體驗(yàn)地址：https://aistudio.google.com/prompts/new_chat
競技場完整榜單：https://lmarena.ai/?leaderboard
參考鏈接：
[1]https://x.com/lmarena_ai/status/1857110672565494098
[2]https://x.com/imxiaohu/status/1857183367365894487
[3]https://x.com/OfficialLoganK/status/1857106089063362768
[4]https://x.com/sundarpichai/status/1857114106928718329
本站所有文章、數(shù)據(jù)、圖片均來自互聯(lián)網(wǎng),一切版權(quán)均歸源網(wǎng)站或源作者所有。
如果侵犯了你的權(quán)益請(qǐng)來信告知我們刪除。郵箱：business@qudong.com
