快科技12月12日消息，華中科技大學(xué)官方發(fā)文稱，該校軟件學(xué)院一團(tuán)隊(duì)發(fā)布了多模態(tài)大模型“Monkey”。

該模型擅長(zhǎng)圖像描述和視覺(jué)問(wèn)答，能夠?qū)崿F(xiàn)對(duì)世界的“觀察”，對(duì)圖片進(jìn)行深入問(wèn)答交流和精確描述。

官方介紹稱，在18個(gè)數(shù)據(jù)集上的實(shí)驗(yàn)中，華科大Monkey模型表現(xiàn)出色，特別是在圖像描述和視覺(jué)問(wèn)答任務(wù)方面，超越了眾多現(xiàn)有知名的模型如微軟的LLAVA、谷歌的PALM-E、阿里的Mplug-owl等。

此外，Monkey在文本密集的問(wèn)答任務(wù)中顯示出顯著的優(yōu)勢(shì)，甚至在某些樣本上超越了業(yè)界公認(rèn)的領(lǐng)先者GPT-4V。

Monkey的一個(gè)顯著特點(diǎn)是其出色的“看圖說(shuō)話”能力。在詳細(xì)描述任務(wù)中，Monkey展現(xiàn)了對(duì)圖像細(xì)節(jié)的感知能力，能夠察覺(jué)到其他多模態(tài)大模型所忽略的內(nèi)容。

另一亮點(diǎn)是能夠處理分辨率高達(dá)1344 x 896像素的圖像，這是目前其他多模態(tài)大模型所能處理的最大尺寸的6倍。

據(jù)悉，目前業(yè)內(nèi)能處理的圖片最大分辨率為448×448像素。

值得一提的是，該團(tuán)隊(duì)已將Monkey代碼在全球最大的代碼托管服務(wù)平臺(tái)GitHub上開(kāi)源。