快科技7月5日消息，理想在今晚的智能駕駛夏季發(fā)布會上宣布，正式啟動端到端+VLM的早鳥計劃。

據(jù)介紹，端到端最大的特點就是取掉了NPN，不依賴于先驗信息，可以真正實現(xiàn)全國都能開，有導(dǎo)航就能開。

端到端模型則更進一步，通過傳感器將數(shù)據(jù)輸入模型，就能直接輸出行駛軌跡。

通過車內(nèi)的端到端和大模型部署，可以讓自動駕駛快速處理，延遲更低、上限更高，用戶所能感受到整套系統(tǒng)的動作、決策更加擬人。

VLM則是視覺語言模型，整體算法架構(gòu)是由一個統(tǒng)一的Transformer模型組成，將Prompt（提示詞）文本進行Tokenizer（分詞器）編碼，然后將前視120度和30度相機的圖像以及導(dǎo)航地圖信息進行視覺信息編碼，通過圖文對齊模塊進行模態(tài)對齊，統(tǒng)一交給VLM模型進行自回歸推理。

VLM輸出的信息包括對環(huán)境的理解、駕駛決策和駕駛軌跡，并傳遞給系統(tǒng)1控制車輛。

VLM會時時刻刻思考當(dāng)前的駕駛環(huán)境，給系統(tǒng)1合理的駕駛建議，同時系統(tǒng)1也可以在不同場景下調(diào)用不同的Prompt問題，主動向系統(tǒng)2進行求助，幫助系統(tǒng)1解決部分場景。

簡單來說，VLM可以讓車輛具有思考能力，讓自動駕駛的操作更像人類老司機的處理方式。