一個(gè)B200頂五個(gè)H100:黃仁勛真正打破了摩爾定律
那個(gè)愛(ài)穿皮衣的黃姓男人又帶著他的 “ 家伙事 ” 來(lái)炸場(chǎng)了。
昨天凌晨, NVIDIA GTC 大會(huì)正式拉開帷幕, NVIDIA 創(chuàng)始人兼 CEO 黃仁勛現(xiàn)場(chǎng)兩個(gè)小時(shí)的演講,讓能容納兩萬(wàn)人的 SAP 體育中心直接被塞爆了。
有網(wǎng)友把黃仁勛比作是新的喬布斯,還問(wèn) NVIDIA 會(huì)不會(huì)成為新的蘋果。
就連馬斯克也稱贊 “ 現(xiàn)在沒(méi)什么硬件能比 NVIDIA 的更適合 AI 。 ”
反正這次大會(huì),老黃和 NVIDIA 是又被捧到了新高度。
那這次開發(fā)者大會(huì),到底都講了些啥?大會(huì)演講全程兩個(gè)小時(shí),沒(méi)有耐心看完演講的友友們,直接看我的總結(jié)就行。
之前,有網(wǎng)友調(diào)侃過(guò)老黃是科技圈的泰勒 · 斯威夫特,所以這次一開場(chǎng),老黃就先水了一波觀眾:注意注意,這不是演唱會(huì),這是開發(fā)者大會(huì)。
接著又甩出一張圖,跟大家伙兒嘮了半小時(shí)計(jì)算機(jī)和 NVIDIA 的發(fā)展史,還 cue 到了當(dāng)年把第一臺(tái) DGX-1 超級(jí)計(jì)算機(jī)送給 OpenAI 的事兒。
不過(guò)這些,都只是些餐前小甜點(diǎn),真正的大菜在后面呢。因?yàn)檫@次演講的主題叫做《 見(jiàn)證 AI 的變革時(shí)刻 》,估計(jì)大伙兒也能猜出個(gè)七七八八,大會(huì)內(nèi)容基本跟 AI 脫不了關(guān)系。
首先就是,全新的GPU 架構(gòu) Blackwell ,和新芯片 B200 。
大會(huì)現(xiàn)場(chǎng),黃仁勛先是掏出了一塊 H100 ,還夸它 “changed the world” 。
但下一秒 Blackwell 架構(gòu)的 B200 出現(xiàn)以后,大伙兒的注意力就被老黃口中這個(gè) “ NVIDIA 史上最成功的產(chǎn)品 ” 給吸引住了。
肉眼上看, B200 和 H100 最大的區(qū)別就是,前者要更大。
根據(jù)介紹, B200 由兩個(gè) Die( 裸片 )封裝組合而成的,包含了 2080 億個(gè)晶體管( H100 是 800 億個(gè) ),可以支持參數(shù)量多達(dá) 10 萬(wàn)億的 AI 模型搞訓(xùn)練推理。
并且, B200 的算力性能是 20PFlops ,而上一代 H100 只有 4PFlops 。
實(shí)際,在芯片制程上 B200 其實(shí)是沒(méi)什么創(chuàng)新的,畢竟 4nm 工藝已經(jīng)是目前這顆星球上的芯片極限了,所以 B200 另辟蹊徑,兩個(gè)芯片之間的數(shù)據(jù)傳輸速度足夠快。
這樣,兩塊芯片就來(lái)了一波超級(jí)合體,約等于是一塊芯片,但威力卻加倍了。
大會(huì)上老黃還裝了個(gè) X :他說(shuō)當(dāng)他們被告知 Blackwell 的野心超出了物理極限時(shí), NVIDIA 的工程師回了一句: 那又怎樣?
另外,芯片還能繼續(xù)像搭積木一樣合體,把兩塊 B200 組合到一起,再跟 NVIDIA 的 Grace CPU 配對(duì)之后,又能整出一個(gè)超級(jí)芯片 GB200 。
這個(gè) GB200 ,直接把計(jì)算性能拉滿了。
按照老黃的說(shuō)法,在 1750 億組參數(shù)的 GPT-3 模型基準(zhǔn)測(cè)試中, GB200 的性能是 H100 的 7 倍.
以前要 90 天內(nèi)訓(xùn)練一個(gè) 1.8 萬(wàn)億參數(shù)的 MoE 架構(gòu) GPT 模型,需要 8000 個(gè) H100 ,但現(xiàn)在,有 2000 個(gè) GB200 就夠了。
老黃在這,也算是非官方的透露了一下 GPT-4 的參數(shù)量, 1.8 萬(wàn)億參數(shù)的 MoE ,和之前網(wǎng)友猜測(cè)的其實(shí)也大差不差。
更夸張的是,還有把 36 個(gè) GB200 放一起的 GB200 NVL72 服務(wù)器,還有結(jié)合了 8 個(gè) GB200 NVL72 的 DGX SuperPOD ,這些由 Blackwell GPU 壘起來(lái)的計(jì)算平臺(tái),一個(gè)比一個(gè)炸裂。
甚至于,老黃也直接說(shuō) “ DGX SuperPOD 就是 AI 的革命工廠! ”
之前科技公司不是老嚷嚷著搞大模型算力不夠不夠,這次老黃直接就整了個(gè)算力怪獸出來(lái)。
我只想說(shuō),友商連 H100 還沒(méi)趕上呢,這 B200 怎么又遙遙領(lǐng)先了?
而且,操心底層算力還不算完, NVIDIA 這次連 AI 應(yīng)用的落地也要摻和一腳。就說(shuō)這個(gè) NVIDIA 要推出的 NIM 推理服務(wù)吧,它可以提供預(yù)訓(xùn)練好的 AI 模型并開放 API ,再讓客戶自己來(lái)開發(fā)應(yīng)用。
舉個(gè)例子, NVIDIA 這次推了 25 個(gè)醫(yī)療場(chǎng)景的微服務(wù),這些微服務(wù)包括了一系列模型,比如預(yù)測(cè)蛋白質(zhì)結(jié)構(gòu)的 ESMFold 、生成化學(xué)的 MolMIM 等等等等,醫(yī)療公司就可以基于這些微服務(wù),開發(fā)相關(guān)的應(yīng)用出來(lái)。
按照老黃的說(shuō)法,現(xiàn)在的 NVIDIA 就是一個(gè) AI 代工廠,里面有模型、有模型開發(fā)工具,還有一系列基礎(chǔ)設(shè)施。
這就相當(dāng)于擴(kuò)展了自己的 AI 生態(tài)鏈條, NVIDIA 一下子路就走寬了。
另外,這次大會(huì)還有個(gè)重頭戲,那就是人形機(jī)器人基礎(chǔ)模型 GROOT 。
簡(jiǎn)單來(lái)理解,用 GROOT 驅(qū)動(dòng)的人形機(jī)器人可以理解自然語(yǔ)言、模仿人類的行為,從而實(shí)現(xiàn)跟物理世界的交互,也就是咱們經(jīng)常提到的具身智能。
為了配合人形機(jī)器人, NVIDIA 還專門發(fā)布了個(gè)人形機(jī)器人芯片 Jetson Thor 。這又是 GROOT 又是 Thor ,難不成老黃是要致敬漫威?
總的來(lái)說(shuō),這次 NVIDIA 的開發(fā)者大會(huì)干貨還是挺多的。
反正新架構(gòu)出來(lái)之后, NVIDIA 車載計(jì)算平臺(tái) “ NVIDIA DRIVE Thor ” 要升級(jí)的消息一傳開,比亞迪以后也要把 NVIDIA DRIVE Thor 芯片用在自家車上了,還要用 NVIDIA 的基礎(chǔ)設(shè)施來(lái)開發(fā)自動(dòng)駕駛大模型。
NVIDIA 的 Omniverse 平臺(tái)也跟蘋果來(lái)了波聯(lián)動(dòng),讓設(shè)計(jì)師可以戴著 Vision Pro 來(lái)設(shè)計(jì)汽車;臺(tái)積電和新思科也要引入 NVIDIA 的光刻計(jì)算平臺(tái) cuLitho ,給芯片制造提一波速。
還有什么 AI 游戲數(shù)字人技術(shù),地球氣候數(shù)字孿生, NVIDIA 這次掏出來(lái)的東西基本上就沒(méi)有水貨。
AI 軍火商果然名不虛傳,反正從我的觀察來(lái)看,今年以來(lái) NVIDIA 的股價(jià)已經(jīng)漲了超過(guò) 80% ,財(cái)報(bào)也是一片欣欣向榮。
但即便如此,不少人還是覺(jué)得 NVIDIA 的帝國(guó)背后,危機(jī)重重,有人覺(jué)得 NVIDIA 的生意太依賴谷歌、微軟這些巨頭了,不太具有持續(xù)性。
也有人把 NVIDIA 比作是我們這個(gè)時(shí)代的思科,因?yàn)樵谏蟼€(gè)世紀(jì)末,一堆人覺(jué)得思科的交換機(jī)和路由器,就是互聯(lián)網(wǎng)時(shí)代的黃金,只要互聯(lián)網(wǎng)在,思科的股價(jià)永遠(yuǎn)漲,可最后,思科的股價(jià)在互聯(lián)網(wǎng)泡沫的破裂中,蒸發(fā)大半。
但不論如何,如今的 NVIDIA 依舊是 AI 芯片領(lǐng)域的最強(qiáng)話事人。
正如 NVIDIA 官網(wǎng)上說(shuō)的那樣,是他們發(fā)明了 GPU ,也是他們讓 GPU 從專用的圖形處理設(shè)備,變成了通用計(jì)算平臺(tái),從而推動(dòng)了如今 AI 的發(fā)展。
所以在我的眼里, NVIDIA 不單單只是 AI “ 戰(zhàn)爭(zhēng) ” 中的軍火商,因?yàn)槿缃?AI 這個(gè)火熱的場(chǎng)子,一定程度上都是 NVIDIA 搭起來(lái)的。
在新一代的 “ 軍火 ” 亮相之后,我已經(jīng)來(lái)不及想看下一階段的 AI 大戰(zhàn),有多激烈和壯觀了。
本站所有文章、數(shù)據(jù)、圖片均來(lái)自互聯(lián)網(wǎng),一切版權(quán)均歸源網(wǎng)站或源作者所有。
如果侵犯了你的權(quán)益請(qǐng)來(lái)信告知我們刪除。郵箱:business@qudong.com