谷歌版賈維斯即將問(wèn)世，最強(qiáng)Gemini 2.0加持！AI自主操控電腦時(shí)代來(lái)臨

作者：新智元 2024-10-28 08:46:00

科幻中的賈維斯，已經(jīng)離我們不遠(yuǎn)了。Claude 3.5接管人類電腦掀起了人機(jī)交互全新范式，爆料稱谷歌同類Project Jarvis預(yù)計(jì)年底亮相。AI操控電腦已成為微軟、蘋果等巨頭，下一個(gè)發(fā)力的戰(zhàn)場(chǎng)。

AI接管人類電腦，就是下一個(gè)未來(lái)！

幾天前，Anthropic向所有人展示了，Claude 3.5自主看屏幕操作光標(biāo)完成復(fù)雜任務(wù)，足以驚掉下巴。

剛剛，Information獨(dú)家爆料稱，谷歌正開(kāi)發(fā)同類新項(xiàng)目「Project Jarvis」，能將Chrome網(wǎng)頁(yè)任務(wù)自動(dòng)化。

谷歌「賈維斯」將由未來(lái)版Gemini 2.0驅(qū)動(dòng)，預(yù)計(jì)在12月亮相。

起這個(gè)名字，是為了向鋼鐵俠中的J.A.R.V.I.S致敬。

無(wú)獨(dú)有偶，微軟團(tuán)隊(duì)悄悄放出的OmniParser，也在篤定AI智能體操控屏幕的未來(lái)。

論文地址：https://arxiv.org/pdf/2408.00203

OmniParser主要是一個(gè)屏幕解析的工具，可以將截圖轉(zhuǎn)化為結(jié)構(gòu)化數(shù)據(jù)，幫助AI精準(zhǔn)理解用戶意圖。

不僅如此，OpenAI內(nèi)部已有了AI智能體雛形，可以操控計(jì)算機(jī)完成在線訂餐、自動(dòng)查詢解決編程難題等任務(wù)。

包括蘋果在內(nèi)，預(yù)計(jì)在明年發(fā)布跨多個(gè)APP屏幕識(shí)別能力。最新迭代的Ferret-UI 2，就是通用UI模型。

可見(jiàn)，「Computer use」已經(jīng)成為科技大廠們，重點(diǎn)發(fā)力的下一個(gè)戰(zhàn)場(chǎng)。

谷歌「賈維斯」年底出世，最強(qiáng)Gemini 2加持

代號(hào)為Jarvis Project項(xiàng)目，本質(zhì)上是一個(gè)大動(dòng)作模型（LAM），也是谷歌一直以來(lái)在做的大模型方向。

它專門針對(duì)谷歌Chrome瀏覽器，進(jìn)行了優(yōu)化。

具體操作原理，與Claude 3.5類似，通過(guò)截屏、解析屏幕內(nèi)容，然后自動(dòng)點(diǎn)擊按鈕，或輸入文本，最終幫助人們完成基于網(wǎng)頁(yè)的日常任務(wù)。

不論是收集研究信息、購(gòu)物，或是預(yù)定航班等任務(wù)，谷歌「賈維斯」均可實(shí)現(xiàn)。

不過(guò)，它在執(zhí)行不同操作時(shí)，中間會(huì)有幾秒鐘的思考時(shí)間。

因此，在終端設(shè)備中運(yùn)行還不太現(xiàn)實(shí)，仍然需要云上操作。

5月的谷歌I/O大會(huì)上，谷歌CEO劈柴曾展示了，Gemini和Chrome如何協(xié)同工作的樣貌。

如前所述，谷歌「賈維斯」將由Gemini 2.0加持，也就意味著年底我們可以看到進(jìn)步版Gemini模型。

盡管Sam Altman否認(rèn)了Orion模型的發(fā)布，但外媒猜測(cè)，預(yù)計(jì)年底OpenAI也將放出新核彈

微軟OmniParser也下場(chǎng)了

緊接著Claude「計(jì)算機(jī)使用」發(fā)布之后，微軟就開(kāi)源了AI框架OmniParser。

假設(shè)你想要去布賴斯峽谷國(guó)家公園，不知是否需要訂票入園，這時(shí)OmniParser可以帶你查詢。

它會(huì)解析屏幕后，自動(dòng)點(diǎn)擊「permits」按鈕，然后再截屏找到「布賴斯峽谷國(guó)家公園」，最后就可以完成用戶任務(wù)。

可見(jiàn)，想要把類似GPT-4V的多模態(tài)大模型應(yīng)用于操作系統(tǒng)上，模型還需要具備強(qiáng)大的屏幕解析能力，主要包括兩方面：

1、準(zhǔn)確地識(shí)別用戶界面中的可交互圖標(biāo)；

2、理解屏幕截圖中各種元素的語(yǔ)義，并準(zhǔn)確將預(yù)期動(dòng)作與屏幕上的相應(yīng)區(qū)域關(guān)聯(lián)起來(lái)。

基于上述思路，微軟最新提出的OmniParser模型，可以將用戶界面截圖解析為結(jié)構(gòu)化元素，顯著增強(qiáng)了GPT-4V在對(duì)應(yīng)界面區(qū)域預(yù)測(cè)行動(dòng)的能力。

方法

一個(gè)復(fù)雜的操作任務(wù)通常可以分解成多個(gè)子行動(dòng)步驟，在執(zhí)行過(guò)程中，模型需要具備以下能力：

1、理解當(dāng)前步驟的用戶界面，即分析屏幕內(nèi)容中大體上在展示什么、檢測(cè)到的圖標(biāo)功能是什么等；

2、預(yù)測(cè)當(dāng)前屏幕上的下一個(gè)動(dòng)作，來(lái)幫助完成整個(gè)任務(wù)。

研究人員發(fā)現(xiàn)，將這兩個(gè)目標(biāo)分解開(kāi)，比如在屏幕解析階段只提取語(yǔ)義信息等，可以減輕GPT-4V的負(fù)擔(dān)；模型也能夠從解析后的屏幕中利用更多信息，動(dòng)作預(yù)測(cè)準(zhǔn)確率更高。

因此，OmniParser結(jié)合了微調(diào)后的可交互圖標(biāo)檢測(cè)模型、微調(diào)后的圖標(biāo)描述模型以及光學(xué)字符識(shí)別（OCR）模塊的輸出，可以生成用戶界面的結(jié)構(gòu)化表示，類似于文檔對(duì)象模型（DOM），以及一個(gè)疊加潛在可交互元素邊界框的屏幕截圖。

可交互區(qū)域檢測(cè)（Interactable Region Detection）

從用戶界面屏幕中識(shí)別出「可交互區(qū)域」非常關(guān)鍵，也是預(yù)測(cè)下一步行動(dòng)來(lái)完成用戶任務(wù)的基礎(chǔ)。

研究人員并沒(méi)有直接提示GPT-4V來(lái)預(yù)測(cè)屏幕中操作范圍的xy坐標(biāo)值，而是遵循先前的工作，使用標(biāo)記集合方法在用戶界面截圖上疊加可交互圖標(biāo)的邊界框，并要求GPT-4V生成要執(zhí)行動(dòng)作的邊界框ID。

為了提高準(zhǔn)確性，研究人員構(gòu)造了一個(gè)用于可交互圖標(biāo)檢測(cè)的微調(diào)數(shù)據(jù)集，包含6.7萬(wàn)個(gè)不重復(fù)的屏幕截圖，其中所有圖像都使用從DOM樹(shù)派生的可交互圖標(biāo)的邊界框進(jìn)行標(biāo)記。

為了構(gòu)造數(shù)據(jù)集，研究人員首先從網(wǎng)絡(luò)上公開(kāi)可用的網(wǎng)址中提取了10萬(wàn)個(gè)均勻樣本，并從每個(gè)URL的DOM樹(shù)中收集網(wǎng)頁(yè)的可交互區(qū)域的邊界框。

除了可交互區(qū)域檢測(cè)，還引有一個(gè)OCR模塊來(lái)提取文本的邊界框。

然后合并OCR檢測(cè)模塊和圖標(biāo)檢測(cè)模塊的邊界框，同時(shí)移除重疊度很高的框（閾值為重疊超過(guò)90%）。

對(duì)于每個(gè)邊界框，使用一個(gè)簡(jiǎn)單的算法在邊框旁邊標(biāo)記一個(gè)ID，以最小化數(shù)字標(biāo)簽和其他邊界框之間的重疊。

整合功能的局部語(yǔ)義（Incorporating Local Semantics of Functionality）

研究人員發(fā)現(xiàn)，在很多情況下，如果僅輸入疊加了邊界框和相關(guān)ID的用戶界面截圖可能會(huì)對(duì)GPT-4V造成誤導(dǎo)，這種局限性可能源于GPT-4V無(wú)法「同時(shí)」執(zhí)行「識(shí)別圖標(biāo)的語(yǔ)義信息」和「預(yù)測(cè)特定圖標(biāo)框上的下一個(gè)動(dòng)作」的復(fù)合任務(wù)。

為了解決這個(gè)問(wèn)題，研究人員將功能局部語(yǔ)義整合到提示中，即對(duì)于可交互區(qū)域檢測(cè)模型檢測(cè)到的圖標(biāo)，使用一個(gè)微調(diào)過(guò)的模型為圖標(biāo)生成功能描述；對(duì)于文本框，使用檢測(cè)到的文本及其標(biāo)簽。

然而，目前還沒(méi)有專門為用戶界面圖標(biāo)描述而訓(xùn)練的公共模型，但這類模型非常適合目標(biāo)場(chǎng)景，即能夠?yàn)橛脩艚缑娼貓D提供快速準(zhǔn)確的局部語(yǔ)義。

研究人員使用GPT-4o構(gòu)造了一個(gè)包含7000對(duì)「圖標(biāo)-描述」的數(shù)據(jù)集，并在數(shù)據(jù)集上微調(diào)了一個(gè)BLIP-v2模型，結(jié)果也證明了該模型在描述常見(jiàn)應(yīng)用圖標(biāo)時(shí)更加可靠。

實(shí)驗(yàn)評(píng)估

SeeAssign任務(wù)

為了測(cè)試GPT-4V模型正確預(yù)測(cè)邊界框描述所對(duì)應(yīng)的標(biāo)簽ID的能力，研究人員手工制作了一個(gè)名為SeeAssign的數(shù)據(jù)集，其中包含了來(lái)自3個(gè)不同平臺(tái)（移動(dòng)設(shè)備、桌面電腦和網(wǎng)絡(luò)瀏覽器）的112個(gè)任務(wù)樣本，每個(gè)樣本都包括一段簡(jiǎn)潔的任務(wù)描述和一個(gè)屏幕截圖。

根據(jù)難度，任務(wù)被分為三類：簡(jiǎn)單（少于10個(gè)邊界框）、中等（10-40個(gè)邊界框）和困難（超過(guò)40個(gè)邊界框）。

GPT-4V不帶局部語(yǔ)義的提示：

Here is a UI screenshot image with bounding boxes and corresponding labeled ID overlayed on top of it, your task is {task}. Which icon box label you should operate on? Give a brief analysis, then put your answer in the format of \n‘‘‘ Box with label ID: [xx]‘‘‘\n

帶局部語(yǔ)義的提示：

Here is a UI screenshot image with bounding boxes and corresponding labeled ID overlayed on top of it, and here is a list of icon/text box description: {parsed_local_semantics}. Your task is {task}. Which bounding box label you should operate on? Give a brief analysis, then put your answer in the format of \n‘‘‘Box with label ID: [xx]‘‘‘\n

從結(jié)果來(lái)看，GPT-4V經(jīng)常錯(cuò)誤地將數(shù)字ID分配給表格，特別是當(dāng)屏幕上有很多邊界框時(shí)；通過(guò)添加包括框內(nèi)文本和檢測(cè)到的圖標(biāo)的簡(jiǎn)短描述在內(nèi)的局部語(yǔ)義，GPT-4V正確分配圖標(biāo)的能力從0.705提高到0.938

ScreenSpot評(píng)估

ScreenSpot數(shù)據(jù)集是一個(gè)基準(zhǔn)測(cè)試數(shù)據(jù)集，包含了來(lái)自移動(dòng)設(shè)備（iOS、Android）、桌面電腦（macOS、Windows）和網(wǎng)絡(luò)平臺(tái)的600多個(gè)界面截圖，其中任務(wù)指令是人工創(chuàng)建的，以確保每個(gè)指令都對(duì)應(yīng)用戶界面屏幕上的一個(gè)可操作元素。

結(jié)果顯示，在三個(gè)不同的平臺(tái)上，OmniParser顯著提高了GPT-4V的基線性能，甚至超過(guò)了專門在圖形用戶界面（GUI）數(shù)據(jù)集上微調(diào)過(guò)的模型，包括SeeClick、CogAgent和Fuyu，并且超出的幅度很大。

還可以注意到，加入局部語(yǔ)義（表中的OmniParser w. LS）可以進(jìn)一步提高整體性能，即在文本格式中加入用戶界面截圖的局部語(yǔ)義（OCR文本和圖標(biāo)邊界框的描述），可以幫助GPT-4V準(zhǔn)確識(shí)別要操作的正確元素。

Mind2Web評(píng)估

測(cè)試集中有3種不同類型的任務(wù)：跨領(lǐng)域、跨網(wǎng)站和跨任務(wù)，可以測(cè)試OmniParser在網(wǎng)頁(yè)導(dǎo)航場(chǎng)景中的輔助能力。

結(jié)果顯示，即使沒(méi)有使用網(wǎng)頁(yè)的HTML信息，OmniParser也能大幅提高智能體的性能，甚至超過(guò)了一些使用HTML信息的模型，表明通過(guò)解析屏幕截圖提供的語(yǔ)義信息非常有用，特別是在處理跨網(wǎng)站和跨領(lǐng)域任務(wù)時(shí)，模型的表現(xiàn)尤為出色。