GTC 2024期間，NVIDIA不僅帶來(lái)了全新的頂級(jí)AI GPU加速器、超級(jí)計(jì)算系統(tǒng)、車(chē)載計(jì)算平臺(tái)，還進(jìn)一步拓展了AI PC的能力，包括數(shù)字人技術(shù)商業(yè)和游戲應(yīng)用、Chat with RTX全面更新、NIM微服務(wù)正式發(fā)布，等等。

對(duì)于AI PC，各家都有自己的定義，但是就算力和生態(tài)而言，RTX GPU無(wú)疑是最重要的一環(huán)，專(zhuān)用的Tensor Core AI加速器可以顯著提升AI性能。

GeForce RTX 40系列的算力最高就可達(dá)1300 AI TOPS，而沒(méi)有獨(dú)立 GPU 的 AI PC 的算力僅為 10 至 45 AI TOPS，因此GeForce RTX 40系列能讓PC用戶在本地也可以執(zhí)行以往云端才能實(shí)現(xiàn)的要求極為苛刻的應(yīng)用。

目前，NVIDIA正在借助RTX AI的能力，打造世界級(jí)的數(shù)字人技術(shù)，為商業(yè)應(yīng)用和動(dòng)態(tài)游戲角色創(chuàng)建栩栩如生的化身。

NVIDIA最新打造的NVIDIA ACE(Avatar Cloud Engine)微服務(wù)，可以利用基于NVIDIA Audio2Face的面部動(dòng)畫(huà)、基于NVIDIA Riva自動(dòng)語(yǔ)音識(shí)別(ASR)/文本轉(zhuǎn)語(yǔ)音(TTS)的語(yǔ)音交流，讓虛擬數(shù)字人物真正鮮活起來(lái)。

NVIDIA ACE微服務(wù)非常靈活，允許模型根據(jù)本地GPU的性能，決定在云端還是PC上運(yùn)行。

目前，米哈游、網(wǎng)易游戲、完美世界游戲、掌趣科技、騰訊游戲等中國(guó)企業(yè)都已經(jīng)引入NVIDIA ACE技術(shù)。

在海外市場(chǎng)上，NVIDIA ACE技術(shù)也有眾多的合作伙伴，包括Convai、Cyber Agent、Data Monsters、Deloitte、HippocraticAI、IGOODI、Inworld AI、Media.Monks、Openstream、Quantiphi、Rakuten Securities、Slalom、SoftServe、Top Health Tech、Ubisoft、UneeQ、Unions Avatars等等。

這些合作伙伴遍布醫(yī)療、游戲、金融服務(wù)、媒體、娛樂(lè)、零售等各行各業(yè)，為數(shù)字人技術(shù)的應(yīng)用探索了各種全新可能。

比如，Inworld AI聯(lián)合NVIDIA打造了全新的技術(shù)Demo Covert Protocol。

它采用多模態(tài)方法展示游戲NPC，將認(rèn)知、感知、行為系統(tǒng)集成在一起，渲染出來(lái)的角色令人驚嘆，可實(shí)現(xiàn)身臨其境的敘事效果。

育碧就正在利用NVIDIA ACE技術(shù)、Inworld角色引擎，并結(jié)合LLM大語(yǔ)言模型，育碧巴黎工作室的多學(xué)科團(tuán)隊(duì)已經(jīng)基于此開(kāi)發(fā)了NEO NPCs。

它可以為游戲里的每個(gè)NPC建立完整的背景、知識(shí)庫(kù)和對(duì)話風(fēng)格，以及實(shí)時(shí)的面部動(dòng)畫(huà)，并與玩家、環(huán)境或其他角色實(shí)時(shí)互動(dòng)，為動(dòng)態(tài)和突發(fā)故事探索全新的可能性。

Inworld技術(shù)還為NEO NPCs提供了有關(guān)周?chē)h(huán)境的內(nèi)在知識(shí)，并通過(guò)Inworld大語(yǔ)言模型提供交互式響應(yīng)。

在育碧提供的三個(gè)獨(dú)立技術(shù)Demo之中，就有兩個(gè)獨(dú)特的NEO NPCs，分別叫做Bloom、Iron，展現(xiàn)出了不同的行為、環(huán)境和上下文意識(shí)，以及一系列的實(shí)時(shí)反應(yīng)和動(dòng)畫(huà)、連續(xù)對(duì)話、協(xié)作和戰(zhàn)略決策。

簡(jiǎn)單地說(shuō)，NVIDIA的數(shù)字人技術(shù)，可以讓游戲里的NPC更像一個(gè)真正的人，能夠做出接近人類(lèi)的實(shí)時(shí)反映，而不再是“千人一面”。

再比如，Hippocratic AI打造了以安全為重點(diǎn)、由LLM驅(qū)動(dòng)、針對(duì)特定任務(wù)的醫(yī)療代理

UneeQ則是一個(gè)專(zhuān)門(mén)為客戶服務(wù)和互動(dòng)應(yīng)用創(chuàng)建AI驅(qū)動(dòng)化身的自主數(shù)字人平臺(tái)。

對(duì)于AI應(yīng)用最廣泛的人機(jī)對(duì)話場(chǎng)景，NVIDIA打造了獨(dú)特的Chat with RTX (或簡(jiǎn)稱ChatRTX) 演示Demo。

Chat with RTX使用檢索增強(qiáng)生成、NVIDIA TensorRT-LLM軟件、NVIDIA RTX加速，將本地生成式AI功能，引入到了支持RTX硬件和技術(shù)的Windows系統(tǒng)中。

利用它，用戶可快速、輕松地將本地文件作為數(shù)據(jù)集，連接到Mistral、Llama 2等開(kāi)放式大語(yǔ)言模型，快速查詢與上下文相關(guān)的答案。

值得一提的是，除了文本外，Chat with RTX還將很快增加對(duì)語(yǔ)音、圖像、新模型的支持。

此外，為了幫助開(kāi)發(fā)者更輕松、更全面、更深入地從事AI開(kāi)發(fā)，NVIDIA正在提供越來(lái)越多的RTX AI工具。

比如NIM微服務(wù)，一種預(yù)構(gòu)建的AI容器，采用行業(yè)標(biāo)準(zhǔn)API，包括必要的軟件組件，可優(yōu)化整體體驗(yàn)，將部署時(shí)間從幾個(gè)星期縮短到只需幾分鐘。

比如NVIDIA AI Workbench，一套易用的整合式工具包，現(xiàn)已全面上市，可幫助開(kāi)發(fā)者利用PC級(jí)性能和顯存占用空間，快速創(chuàng)建、測(cè)試和定制預(yù)訓(xùn)練生成式AI模型和LLM。

比如TensorRT加速，一款可幫助開(kāi)發(fā)者充分利用RTX GPU Tensor Core的加速庫(kù)軟件，現(xiàn)在可以通過(guò)TensorRT-LLM for Windows，用于基于文本的應(yīng)用。

當(dāng)然，不能忘了RTX GPU加速的游戲渲染應(yīng)用，尤其是光線追蹤、DLSS超分辨率、FG幀生成等。

最近，又有兩款重磅游戲支持了DLSS 3.5光線重建技術(shù)、全景光追技術(shù)。

一個(gè)是將于8月20日發(fā)布的《黑神話：悟空》，另一個(gè)是《永劫無(wú)間》將在PVP、PVE模式下的三個(gè)新地圖支持全景光追，后續(xù)會(huì)還會(huì)有更多地圖加入。

2019年以來(lái)，已有超過(guò)500款游戲和應(yīng)用支持光線追蹤、DLSS、AI技術(shù)，徹底改變了人們的游戲和創(chuàng)作方式、體驗(yàn)。

憑借深厚的技術(shù)積累、強(qiáng)大的硬件算力、豐富的開(kāi)發(fā)生態(tài)，NVIDIA正在為AI尤其是AI PC的應(yīng)用拓展全新疆界，從游戲娛樂(lè)到行業(yè)應(yīng)用，都展現(xiàn)出無(wú)限可能。

尤其是創(chuàng)新的NVIDIA ACE微服務(wù)，無(wú)論是游戲還是行業(yè)應(yīng)用，開(kāi)發(fā)者都可以借助強(qiáng)大的RTX AI的能力，創(chuàng)造出表情、語(yǔ)言、行動(dòng)等等都更接近真人的虛擬形象，有望徹底顛覆數(shù)字人創(chuàng)作。