每個(gè)人都有這樣的回憶,小時(shí)候語(yǔ)文老師教我們看圖說(shuō)話,許多小朋友腦洞大開,說(shuō)出來(lái)的答案讓人啼笑皆非。實(shí)際上,看圖說(shuō)話的能力在年幼時(shí)期需要訓(xùn)練,而對(duì)于大一點(diǎn)孩子來(lái)說(shuō)就不成問題了。如今,機(jī)器人也能做到看圖說(shuō)話了。
近日,來(lái)自中國(guó)AI在這項(xiàng)能力上已經(jīng)打破了世界紀(jì)錄。在第二屆全球AI視覺對(duì)話競(jìng)賽中,阿里AI擊敗了微軟、首爾大學(xué)等十支參賽隊(duì)伍,一舉獲得冠軍。
阿里AI在視覺對(duì)話競(jìng)賽中得冠
這場(chǎng)視覺對(duì)話競(jìng)賽由美國(guó)佐治亞理工大學(xué)、Facebook人工智能實(shí)驗(yàn)室(FAIR)等機(jī)構(gòu)聯(lián)合全球視覺技術(shù)領(lǐng)域頂級(jí)學(xué)術(shù)會(huì)議CVPR發(fā)起,是目前視覺對(duì)話領(lǐng)域最權(quán)威的競(jìng)賽之一。
該競(jìng)賽要求參賽的AI在看完近萬(wàn)張圖片后,回答出人類對(duì)于任一圖片任一內(nèi)容的提問。這要求AI不僅能夠描述出圖片中內(nèi)容的概況,還要經(jīng)得起人類對(duì)圖片各種細(xì)節(jié)的追問。比如,在一張撐著雨傘的人物圖片中,說(shuō)出傘是什么顏色的,有多少人在圖中,附近有什么物品和建筑物等等信息。
視覺對(duì)話中AI可以從容應(yīng)對(duì)人類提問(左為AI、右為人類)
競(jìng)賽結(jié)果顯示,阿里AI以74.57%的準(zhǔn)確率獲得冠軍,將上一屆比賽的紀(jì)錄提高了16.82%,并且超過微軟AI的64.78%的準(zhǔn)確率。而在相同的數(shù)據(jù)集中,人類的準(zhǔn)確率僅為64.27%,AI甚至勝過了人類。
傳統(tǒng)的視覺AI主要針對(duì)目標(biāo)的檢測(cè)和識(shí)別,但對(duì)復(fù)雜場(chǎng)景中目標(biāo)之間的邏輯關(guān)系理解、推理能力較弱,無(wú)法回答表達(dá)圖片對(duì)象直接關(guān)系的復(fù)雜問題,也難以將圖片信息轉(zhuǎn)化為人類理解的語(yǔ)言輸出。
這意味著,要實(shí)現(xiàn)視覺對(duì)話能力,傳統(tǒng)的視覺AI在學(xué)會(huì)“看圖”之后,還要有一種語(yǔ)言模型來(lái)支撐它“說(shuō)話”。阿里AI的突破就在于提出了“遞歸探索對(duì)話模型”。
視覺對(duì)話AI與用戶交流圖像內(nèi)容
這一模型通過標(biāo)注信息學(xué)習(xí)出模仿人類認(rèn)知復(fù)雜場(chǎng)景的思維方式,能識(shí)別圖片里的實(shí)體以及它們之間的關(guān)系,推理出圖片所描述的事件內(nèi)容,并通過對(duì)上下文進(jìn)行有效建模,綜合集成了圖像識(shí)別、關(guān)系推理與自然語(yǔ)言理解三大能力,能理解人類提出的問題及真實(shí)意圖,給出自然準(zhǔn)確的回復(fù)。
AI能“看圖說(shuō)話”,這樣的應(yīng)用其實(shí)距離我們并不遙遠(yuǎn),微軟之前推出了一款年齡測(cè)試工具How-old.net ,曾經(jīng)刷爆微博和朋友圈,所應(yīng)用的就是這一技術(shù)的應(yīng)用。
目前微軟還開放了能“看圖說(shuō)話”的AI系統(tǒng),用戶進(jìn)入官網(wǎng)上傳圖片,稍等一會(huì),就能看到系統(tǒng)對(duì)于圖片的描述。其準(zhǔn)確率雖然不低但依舊有待提升,以一張?jiān)?jīng)廣為流傳的黑人問號(hào)表情圖片為例,AI很快給出了客觀的回答:“我覺得這是籃球隊(duì)員尼克楊露出牙齒微笑?!?/p>
AI視覺對(duì)話識(shí)別圖片信息
以“看圖說(shuō)話”為代表的視覺對(duì)話是近年來(lái)快速崛起的AI研究方向,目的在于教會(huì)機(jī)器用自然語(yǔ)言與人類討論視覺內(nèi)容,這能夠使機(jī)器擁有了對(duì)真實(shí)視覺世界的理解與推斷能力,也意味著AI的認(rèn)知能力將邁上新的臺(tái)階。
可以預(yù)見,這項(xiàng)技術(shù)未來(lái)將被應(yīng)用在人機(jī)交互諸多場(chǎng)景:
在火災(zāi)、地震后在廢墟中尋找幸存者的救援機(jī)器人,能夠代替人類之眼,深入危險(xiǎn)的現(xiàn)場(chǎng),及時(shí)、高效地綜合指揮指令和場(chǎng)景信息作出行動(dòng)。
視覺對(duì)話技術(shù)有望人類提高地震救援效率
視障人士可以通過提問AI,理解圖像中的內(nèi)容,了解自身所處的周圍環(huán)境,為其生活起居帶來(lái)更多的便利。
無(wú)人駕駛車輛也可以在行駛中通過視覺對(duì)話,更加準(zhǔn)確理解人類意圖征詢?nèi)祟惖囊庖姡尦丝偷某俗w驗(yàn)更好。
正如《2001太空漫游》《流浪地球》等科幻大片中無(wú)障礙的人機(jī)對(duì)話系統(tǒng)所描繪的那樣,擁有智能視覺對(duì)話能力的AI隨著技術(shù)的不斷突破,正在向我們走來(lái)。
瑪氏中國(guó) | 2025年度國(guó)內(nèi)運(yùn)輸物流服務(wù)【冰淇淋業(yè)務(wù)】
3307 閱讀2025年京東物流貴州大件宅配、京東幫資源招商
1521 閱讀2025年京東物流-河北大件宅配、京東幫資源招商
1035 閱讀物流企業(yè),沒有效率的增長(zhǎng)就是在加速衰亡
846 閱讀快運(yùn)網(wǎng)點(diǎn)的“跨境突破”:利潤(rùn)更高、增長(zhǎng)潛力大、協(xié)同增效
847 閱讀【權(quán)威發(fā)布】2025年貨車司機(jī)從業(yè)狀況調(diào)查報(bào)告(第一部分)
765 閱讀什么樣的物流人,會(huì)越來(lái)越厲害?
751 閱讀支持99%歐洲國(guó)家互發(fā)快遞!菜鳥升級(jí)G2G泛歐3日達(dá)服務(wù)
761 閱讀順豐獲任大圩葡萄官方指定物流服務(wù)商
757 閱讀美團(tuán)、淘寶餓了么、京東同時(shí)發(fā)文公開承諾,抵制無(wú)序競(jìng)爭(zhēng)
736 閱讀
登錄后才能發(fā)表評(píng)論
登錄