熱熱鬧鬧的2024北京車展期間，商湯科技聯(lián)合創(chuàng)始人、首席科學(xué)家、絕影智能汽車事業(yè)群總裁王曉剛，給出了這樣的新判斷。

今年，高階智駕到了普及時(shí)刻。自動(dòng)駕駛也到了“淘汰賽”階段：功能上卷“無(wú)圖”，成本層面卷“千元級(jí)”，并且還要“標(biāo)配”，技術(shù)上則競(jìng)爭(zhēng)“端到端”、“數(shù)據(jù)驅(qū)動(dòng)”。

王曉剛認(rèn)為，行業(yè)熱議的這些概念不是突然流行的，這一切不過(guò)是AI技術(shù)演進(jìn)的必然結(jié)果。

而商湯早在2018年，就已經(jīng)在如今的競(jìng)爭(zhēng)局面做儲(chǔ)備。

現(xiàn)象和體驗(yàn)：車展上商湯絕影的新產(chǎn)品新技術(shù)

北京車展今天剛剛開(kāi)幕。智能車參考粗略統(tǒng)計(jì)了一下，整個(gè)車展上，大約有八九十款不同的品牌、車型，都搭載了商湯絕影的技術(shù)或方案。

在整整一年前的上海車展，這個(gè)數(shù)字還是三四十款。

這些技術(shù)和方案，都是已經(jīng)量產(chǎn)交付給用戶的。

比如大熱的小米SU7，之前官方展示過(guò)一個(gè)引起熱議的交互場(chǎng)景：

用戶指著前方的一輛車，詢問(wèn)語(yǔ)音助手這是什么品牌什么車型，車機(jī)立刻做出了準(zhǔn)確的回答。

實(shí)際上，背后是絕影的一系列大模型協(xié)作展現(xiàn)出的能力。比如大語(yǔ)言模型準(zhǔn)確理解用戶指令及給出相應(yīng)回答；多模態(tài)大模型則將視頻、聲音、圖像等等數(shù)據(jù)相關(guān)聯(lián)，形成環(huán)境理解、邏輯思維和內(nèi)容生成能力。

智能駕駛方案上，廣汽埃安旗下主打?qū)嵱眯缘闹行蚐UV LX Plus，搭載具備高速領(lǐng)航輔助能力的ADAS系統(tǒng)，背后的支持，是商湯絕影的環(huán)視BEV感知能力和通用目標(biāo)感知能力。

而商湯絕影的高速領(lǐng)航全棧智能駕駛能力，搭載在新勢(shì)力哪吒的轎跑新車S上。

已交付量產(chǎn)的成熟方案產(chǎn)品之外，絕影還在北京車展上展示出了更多即將量產(chǎn)上車的“黑科技”。

比如今年蘋果的Vision Pro大熱，讓人們領(lǐng)略到了3D交互的魅力。絕影則推出了兩大全新座艙3D交互，包括3D Gaze高精視線交互和3D動(dòng)態(tài)手勢(shì)交互。

其中3D Gaze高精視線交互將讓用戶通過(guò)眼神控制中控圖標(biāo)；3D 動(dòng)態(tài)手勢(shì)交互是行業(yè)領(lǐng)先的支持動(dòng)態(tài)手勢(shì)和手部微動(dòng)作識(shí)別的智能座艙技術(shù)，能讓用戶通過(guò)手勢(shì)“隔空”進(jìn)行各類座艙交互。

兩個(gè)功能配合，體驗(yàn)幾乎就是“Vision Pro”裸眼上車，智能座艙的交互更加符合人類直覺(jué)，更自然。

2022年末，商湯提出了行業(yè)首個(gè)感知決策一體化自動(dòng)駕駛通用模型UniAD，次年，這篇論文獲得了計(jì)算機(jī)頂會(huì)CVPR 2023年的最佳論文。

剛剛在北京車展，商湯絕影宣布這篇最佳論文要“上車”了！

體驗(yàn)方面，潮汐車道對(duì)于傳統(tǒng)智駕方案來(lái)說(shuō)是很大的挑戰(zhàn)，但是端到端大模型在經(jīng)過(guò)相關(guān)數(shù)據(jù)的訓(xùn)練之后，可以對(duì)指示文字、圖標(biāo)以及車流變化等外部數(shù)據(jù)進(jìn)行解讀并理解這些信息，從而主動(dòng)變更路線，駛?cè)牖螂x開(kāi)潮汐車道。

又比如鄉(xiāng)村道路上經(jīng)常碰到這樣的場(chǎng)景：在對(duì)向來(lái)車的情況下，前方有行人在跑步：

在確保安全的情況下，搭載UniAD的測(cè)試車先加速向左行駛繞開(kāi)行人，而后快速向右打方向避開(kāi)對(duì)向來(lái)車，順利通行。

之前的智駕產(chǎn)品在有地圖信息的情況下也能機(jī)會(huì)能通過(guò)，但成功率不敢保證，因?yàn)楸澈笫且惶讖?fù)雜規(guī)則定義的“被動(dòng)觸發(fā)”機(jī)制，但路上情況稍有不同，系統(tǒng)就無(wú)計(jì)可施。

UniAD不再依賴人工窮舉的感知“白名單”，規(guī)控層面也不再是傳統(tǒng)手寫規(guī)則，通過(guò)數(shù)據(jù)學(xué)習(xí)和驅(qū)動(dòng)，AI司機(jī)僅憑攝像頭的視覺(jué)感知，能夠應(yīng)對(duì)城區(qū)甚至是無(wú)標(biāo)線和交通標(biāo)識(shí)的鄉(xiāng)村道路等復(fù)雜環(huán)境。

智能駕駛今年開(kāi)啟了鋪天蓋地的時(shí)代，功能上高速NOA成了標(biāo)配門檻，價(jià)格也下探到了15-20萬(wàn)元的車型。

但熱鬧之下，最近卻有不少行業(yè)技術(shù)大牛都發(fā)出了相同的警告：

必須要認(rèn)真考慮技術(shù)路線了，以前基于規(guī)則的技術(shù)棧能走多遠(yuǎn)，是個(gè)問(wèn)題。

這背后是智能駕駛算法，從以往模塊化、規(guī)則驅(qū)動(dòng)，向端到端的一體化模型、數(shù)據(jù)驅(qū)動(dòng)演變。

所以，比“上了多少車”更加重要的，是商湯絕影的端到端模型的率先上車，代表著中國(guó)智能車行業(yè)發(fā)展趨勢(shì)和今后新技術(shù)范式。

技術(shù)：絕影端到端，「真」在哪？

商湯絕影提出的UniAD，是國(guó)內(nèi)玩家中首個(gè)端到端自動(dòng)駕駛大模型。

而且令人吃驚的是，量產(chǎn)上車的進(jìn)度，也是最快的。

除了剛才提到的體驗(yàn)優(yōu)勢(shì)，UniAD還有4個(gè)關(guān)鍵點(diǎn)：

高效開(kāi)發(fā)迭代“純視覺(jué)、純無(wú)圖”高階智駕與生俱來(lái)感知決策一體化的真·端到端體量輕，代碼量數(shù)千行

分別來(lái)看，端到端模型能夠通過(guò)完全數(shù)據(jù)驅(qū)動(dòng)的模式，將其學(xué)到的駕駛能力和技巧遷移泛化到其他場(chǎng)景當(dāng)中，自主且高效解決行泊場(chǎng)景中新出現(xiàn)的各類長(zhǎng)尾問(wèn)題，具備更快的迭代效率，可以有效降低開(kāi)城成本，幫助車企更快速實(shí)現(xiàn)“全國(guó)都能開(kāi)”的目標(biāo)。

而現(xiàn)在大家都在卷的“無(wú)圖NOA”功能，以及很多玩家都在積極推進(jìn)的純視覺(jué)城市NOA能力，這些都將是端到端模型與生俱來(lái)的天賦，因?yàn)樗恍枰獙?dǎo)航信息就能把車駕駛到目的地。

這種“純無(wú)圖”、“純視覺(jué)”的能力，自然就可以幫助車企降低軟硬件成本，徹底告別高精度地圖覆蓋低、更新慢，以及需要靠激光雷達(dá)等傳感器冗余才能解決各種Corner case帶來(lái)的成本難題。

更重要的是，從UniAD的描述中可以看出，其最大的不同就是和人類駕駛思維模式無(wú)限接近，主動(dòng)學(xué)習(xí)、思考和推理，理解復(fù)雜的交通環(huán)境，而不是根據(jù)不同場(chǎng)景被動(dòng)觸發(fā)對(duì)策。

怎么做到的？

其實(shí)，所謂“端到端”是針對(duì)傳統(tǒng)技術(shù)范式而言的，其中自動(dòng)駕駛的感知、決策、規(guī)控等等互相獨(dú)立。傳感器采集到的數(shù)據(jù)，需要通過(guò)這一系列不同的算法模塊，最終才能“變成”操作指令。

并且這樣的技術(shù)體系中，通常只有感知模塊應(yīng)用AI模型，其余模塊都是基于人為定義的手寫規(guī)則。

每個(gè)獨(dú)立模塊之間的信息是逐級(jí)傳遞的，在這個(gè)過(guò)程中必然會(huì)存在信息的丟失和誤差，而且前一個(gè)模塊的誤差會(huì)影響到下一個(gè)，多個(gè)模塊之間的信息誤差會(huì)不斷累積，進(jìn)而影響到自動(dòng)駕駛方案的整體效果。

其次，規(guī)則主導(dǎo)的智駕功能，行為上刻板僵硬，面對(duì)不同路況不能采取靈活應(yīng)對(duì)措施，導(dǎo)致整個(gè)產(chǎn)品不好用、不敢用。

王曉剛表示，Waymo、特斯拉，包括商湯絕影在內(nèi)，都嘗試過(guò)對(duì)基于規(guī)則的傳統(tǒng)智駕方案進(jìn)行優(yōu)化和迭代，但都無(wú)法突破這套算法框架的局限性。

想要從感知開(kāi)始就實(shí)現(xiàn)信息的無(wú)損傳遞，必須要有一個(gè)全新的算法范式——端到端算法模型。

目前，市面上不少端到端方案是在感知和決策兩個(gè)模塊分別搭建一個(gè)大模型框架，因?yàn)檫@樣更容易實(shí)現(xiàn)落地。但“兩段式”方案的兩個(gè)模型之間傳遞的依然是人為定義的顯性信息，避免不了信息損失和誤差，降低了難度，也拉低了它能力的上限。

商湯絕影UniAD方案則是將感知、決策、規(guī)劃等模塊都整合到一個(gè)全棧Transformer端到端模型，實(shí)現(xiàn)感知決策一體化，不需要對(duì)感知數(shù)據(jù)進(jìn)行抽象和逐級(jí)傳遞，“所見(jiàn)即所得”：

將傳感器采集的原始信息輸入到模型中，然后以自車軌跡規(guī)劃為準(zhǔn)進(jìn)行指令輸出。

這就是UniAD被稱為“真·端到端”的關(guān)鍵原因——并非只是把決策規(guī)模模塊“神經(jīng)網(wǎng)絡(luò)”化，而是從一開(kāi)始，就完全將感知到?jīng)Q策整個(gè)過(guò)程當(dāng)做一個(gè)整體，來(lái)思考和解決問(wèn)題。

“端到端”的自動(dòng)駕駛模型其實(shí)不是一個(gè)很新的東西，2016年就由英偉達(dá)首次提出。但之所以現(xiàn)在開(kāi)始落地實(shí)踐，是因?yàn)槎说蕉舜竽Ｐ汀昂诤凶印比狈山忉屝?，卡住了大部分玩家：性能體驗(yàn)不佳，但卻不知道該怎么調(diào)參…

商湯的方案是這樣：與不可解耦得端到端方案相比，UniAD將多個(gè)模塊整合到一個(gè)端到端模型架構(gòu)之下，仍可以對(duì)各個(gè)模塊進(jìn)行分別的監(jiān)測(cè)和優(yōu)化。

王曉剛認(rèn)為，端到端模型上車量產(chǎn)是一個(gè)趨勢(shì)，類似“輸入數(shù)據(jù)輸出油門剎車信號(hào)”這樣的模型，目前上車仍然具有安全風(fēng)險(xiǎn)。

“一體化”的程度不是一蹴而就，是一個(gè)過(guò)程，逐漸將感知、決策、規(guī)控等的各環(huán)節(jié)融入一個(gè)大模型之中。

UniAD之所以能稱得上是國(guó)內(nèi)首個(gè)“真”端到端，是因?yàn)樗囊惑w化程度最高，融合之路走的最遠(yuǎn)。

也正是因?yàn)樽龅搅苏嬲囊惑w化，使得整個(gè)系統(tǒng)中需要人工手寫代碼維護(hù)的比例，降到了最低，總共只有幾千行代碼的體量。

絕影率先實(shí)現(xiàn)，王曉剛歸因?yàn)樯虦L(zhǎng)久以來(lái)投入的AGI（通用人工智能）能力。

從2018年開(kāi)始，商湯開(kāi)始布局算力基礎(chǔ)設(shè)施，在上海臨港投入超過(guò)50億元人民幣建設(shè)智算中心AIDC，當(dāng)時(shí)很多人不明白為什么一家算法公司會(huì)在基礎(chǔ)設(shè)施建設(shè)上投入如此巨大。

但現(xiàn)已經(jīng)驗(yàn)證，強(qiáng)大的算力是AI大模型發(fā)展必不可少的。而依托AIDC加持的商湯大裝置，商湯絕影也有了行業(yè)領(lǐng)先的算力儲(chǔ)備，運(yùn)營(yíng)算力規(guī)模達(dá)到12,000P，預(yù)計(jì)到2024年第四季度，峰值算力將達(dá)到16,000 P。

在強(qiáng)大算力的基礎(chǔ)上，商湯又建立了自己的“日日新大模型體系”，涵蓋大語(yǔ)言模型、文生圖/視頻模型、多模態(tài)模型等等，能夠解決眾多開(kāi)放式任務(wù)，率先摸到了通用人工智能的門檻。

所以，王曉剛認(rèn)為，絕影在端到端模型的領(lǐng)先進(jìn)展，以及智駕/座艙/車云業(yè)務(wù)全面布局，其實(shí)是商湯AGI技術(shù)最好的落地和實(shí)踐載體。

趨勢(shì)：端到端reset智能汽車

傳統(tǒng)自動(dòng)駕駛公司生存空間越來(lái)越小，這是王曉剛最新的判斷。

這樣的觀點(diǎn)仍然是從技術(shù)演變的角度出發(fā)：

端到端的興起，reset自動(dòng)駕駛賽道，競(jìng)速上車，是自動(dòng)駕駛賽道新階段的指標(biāo)和“試金石”。

細(xì)化地說(shuō)，端到端模型第一次真正實(shí)踐了“自動(dòng)駕駛第一原理”，從體驗(yàn)和技術(shù)迭代兩個(gè)維度，完美解決了過(guò)去難以解決的問(wèn)題。

正因?yàn)檫@樣，它給了所有玩家新的機(jī)遇：更好的智駕體驗(yàn)、更低的維護(hù)、泛成本，以及更有競(jìng)爭(zhēng)力的智駕方案成本。

但代價(jià)是以往模塊化的、規(guī)則驅(qū)動(dòng)主導(dǎo)的技術(shù)體系，必須推倒重構(gòu)。

所以它同時(shí)也是門檻極高的挑戰(zhàn)，從商湯絕影的例子來(lái)看，至少需要要具備這些能力：

算力基礎(chǔ)設(shè)施、基礎(chǔ)大模型積累、多模態(tài)大模型…

當(dāng)然還有技術(shù)路線切換的“沉沒(méi)成本”：以往投入的資金、時(shí)間。

老牌明星可能會(huì)優(yōu)勢(shì)歸零重置，“后來(lái)者”也會(huì)獲得領(lǐng)先優(yōu)勢(shì)。

2024自動(dòng)駕駛洗牌，表面上是看項(xiàng)目落地、賬上資金，其實(shí)背后主要驅(qū)動(dòng)因素是技術(shù)路線的重構(gòu)。

新趨勢(shì)下，商湯絕影值得重點(diǎn)關(guān)注。