Llama 3首發(fā)陣容里沒有的120B型號竟意外“曝光”，而且十分能打？！

最近這樣一個(gè)號稱是「Llama3-120b」的神秘大模型火了起來，原因在于它表現(xiàn)太出色了——

輕松擊敗GPT-4、gpt2-chatbot那種。

比如，面對像「觀察希格斯場是否會改變其狀態(tài)」這樣的艱深難題時(shí)。

GPT-4冷酷而決絕：No；

但Llama3-120b就不一樣了，“只有當(dāng)我們質(zhì)疑量子力學(xué)的哥本哈根解釋時(shí)，讓我來解釋一下……”

還有就是讓LIama3-120B解釋笑話，并同兩個(gè)gpt2-chatbot比較：im-a-good-gpt2-chatbot；im-also-a-good-gpt2-chatbot。

I randomly walked past the grave of bayes yesterday, but being a frequentist i didn’t bother taking a photo。

（昨天我偶然路過貝葉斯墓，但我是頻率學(xué)派，懶得拍照。）

首先，他們?nèi)齻€(gè)都判斷出這是關(guān)于兩種統(tǒng)計(jì)學(xué)派的笑話，以及兩個(gè)學(xué)派是相對對立的情況：Frequentist頻率學(xué)派只關(guān)注從抽樣/實(shí)驗(yàn)的結(jié)果中提取信息，Bayesian貝葉斯學(xué)派還會設(shè)置一個(gè)主觀的先驗(yàn)信息。

但兩個(gè)gpt2-chatbot給出進(jìn)一步解釋是，正是因?yàn)轭l率學(xué)派并不認(rèn)同對貝葉斯理論，所以對貝葉斯墓不感興趣，更不會以他為榮而拍照。

而LIama3-120B精準(zhǔn)指出笑點(diǎn)在“ i didn’t bother taking a photo”，并給出了更深一層的解釋。

因?yàn)樽鳛轭l率學(xué)派，會認(rèn)為碰到貝葉斯墓的概率幾乎為零。這樣的小概率事件也不值得去拍照或者干一些有意義的事情。

哦莫，說的好有道理……

另外題外話，它的回答格式十分工整，讓人看了賞心悅目。

除此之外，網(wǎng)友發(fā)現(xiàn)它還能創(chuàng)造出谷歌搜到0結(jié)果的新單詞。

以及直接回答含糊的問題，不用交代背景，這不比ChatGPT好多了。

（沒有說ChatGPT不好的意思）

有評測過后的網(wǎng)友感嘆：它太聰明了，我不會再擺弄它了。因?yàn)樗凶约旱南敕ā?/p>

這真的是我用過最聰明的大模型了。

有網(wǎng)友找了半天也找不到官方來源……

與此同時(shí)，更多版本也開始出現(xiàn)了，比如170B、225B…嗯，一版更比一版強(qiáng)。

Llama 3 120B竟意外能打

這兩天，社交網(wǎng)絡(luò)上出現(xiàn)了各種關(guān)于Llama3 120B玩法。

比如推導(dǎo)解釋一些理論，Omega假設(shè)。

有創(chuàng)造一些新單詞，比如prefaceate、driftift等

并且給它一個(gè)完整的解釋和定義。

甚至還有人整了個(gè)評測，去評估這個(gè)來路不明的大模型。結(jié)果在創(chuàng)意寫作測試中成績還不錯，排名第6，超過GPT-4、Claude3-Haiku等模型。

既然如此，這個(gè)非官方的大模型Llama3 120B又是怎么來的呢？

據(jù)作者介紹，它是用MergeKit制作，將Meta官方LIama3 70B模型合并（Self-Merge）

MergeKit咋是專門用來合并預(yù)訓(xùn)練模型的工具包，合并可以完全在 CPU 上運(yùn)行，也可以使用低至8GB的VRAM進(jìn)行加速。在GitHub上已經(jīng)收獲3.6k星。

目前支持Llama、Mistral、GPT-NeoX、StableLM 等模型。

△支持的合并算法

作者M(jìn)axime Labonne是一位資深機(jī)器學(xué)習(xí)專家，目前在一家通用大模型創(chuàng)業(yè)公司LiquidAI工作。

他博士畢業(yè)于巴黎理工學(xué)院，他在2019年開始研究大語言模型和圖神經(jīng)網(wǎng)絡(luò)，并將他們應(yīng)用到不同環(huán)境中，比如研發(fā)、工業(yè)、金融等，撰寫過書籍《Hands-On Graph Neural Networks using Python》。

他也是開發(fā)者社區(qū)的活躍開發(fā)者，在HuggingFace上發(fā)布過各種LLM， 例如AlpahMonarch-7B、Beyonder-4x7B、Phixtral 和 NeuralBeagle14。以及一些工具，例如 LLM AutoEval、LazyMergekit、LazyZxolotl 和 AutoGGUF。

在GitHub上他的關(guān)于大模型課程，收獲29.5K Star。

不過對于這個(gè)「縫合」大模型的使用，作者建議可以用來創(chuàng)意寫作。

在多方評估中可以看到，它有時(shí)候會出現(xiàn)神經(jīng)混亂，但寫作風(fēng)格不錯。另外有時(shí)候還會出現(xiàn)拼寫錯誤，并且非常喜歡大寫字母。

而且由于覺得這個(gè)版本的推理能力比較差，于是作者再做了個(gè)225B的。

網(wǎng)友：看完更期待官方400B了

有網(wǎng)友猜測為什么LIama3-120B能這么強(qiáng)。

一方面，LIama3-70B自己確實(shí)很強(qiáng)，剛發(fā)布時(shí)就迅速躍居排行榜榜首。HuggingFace上顯示，上個(gè)月下載次數(shù)就超過了27萬次。

lmsysorg就深入分析了LIama3的實(shí)力，簡單來說，LIama3在開放式寫作和創(chuàng)意問題上擊敗了頂尖模型，但在封閉式數(shù)學(xué)和編碼問題上就稍弱一點(diǎn)。

不過隨著提示詞變得更加復(fù)雜，LIama3的能力也就下降得很明顯。

以及在輸出內(nèi)容上面，LIama3的輸出比其他模型更友好，也更具對話性。

除此之外，也有網(wǎng)友分析這與模型深度有關(guān)。

事實(shí)上與LIama3-70B唯一的區(qū)別是額外的Layer，甚至是復(fù)制的，沒有新的訓(xùn)練數(shù)據(jù)。。

這意味著，120B大模型的智能水平是從模型的深度產(chǎn)生的?！斑@不僅僅是訓(xùn)練數(shù)據(jù)的函數(shù)，它是數(shù)據(jù)和深度的結(jié)合”。

有網(wǎng)友嘗試本地部署，Ollama上已經(jīng)支持下載。網(wǎng)友表示：它使用48 GB VRAM + 38 GB 系統(tǒng) RAM。

啊這……走了走了。

有提供GGUF形式的LMStudioAI，也很直接地說：不適合內(nèi)存不足的人。

原作者也很逗趣地表示：是時(shí)候跟你的RAM做告別了。

但不管怎么說，已經(jīng)在期待更多官方型號了。

比如，400B那種。

參考鏈接：[1]https://x.com/spectate_or/status/1788031383052374069

[2]https://x.com/spectate_or/status/1787308316152242289

[3]https://x.com/spectate_or/status/1787295252576952325

[4]https://x.com/spectate_or/status/1787264115804606628

[5]https://huggingface.co/mlabonne/Meta-Llama-3-120B-Instruct

[6]https://x.com/maximelabonne/status/1787485038591746269

[7]https://x.com/spectate_or/status/1788102406250664171

[8]https://x.com/spectate_or/status/1787576927529615516