AI像人一樣操控電腦：多模態AI Agents和屏幕交互新范式原創

發布于 2024-11-20 10:11

瀏覽

0收藏

編者按： 未來我們與計算機的交互方式將發生怎樣的變革？當 AI 能像人類一樣自如地操控電腦和手機，我們的工作方式會有什么改變？

本文深入剖析了 Anthropic、微軟和蘋果三大科技巨頭在突破這一瓶頸上的最新進展。通過解讀他們各自獨特的技術路線 —— 從 Anthropic 采用像素計數方式實現精準導航，到微軟將界面解析為結構化數據，再到蘋果專注于移動端的多模態交互方案，文章為我們展現了 AI 驅動屏幕交互的未來圖景。

作者 | Tula Masterman

編譯 |?岳揚

01 引言：AI Agent 領域的持續變革

Anthropic、微軟和蘋果的最新動態正在重塑我們對 AI Agents 的認知。目前，“AI Agent” 這一概念已被廣泛提及 —— 幾乎每一項與人工智能相關的公告都會涉及 AI Agents，但其先進程度和實用性卻有著天壤之別。

在這個領域的一端，我們看到了一些能夠進行多輪規劃、工具操作和目標評估的先進 AI Agents。它們通過不斷迭代來完成特定任務，甚至能夠建立和利用“記憶（memories）”，從過往的錯誤中吸取教訓，以推動未來的成功。如何打造一個高效的 AI Agents，是當前人工智能研究的熱點之一。這涉及到探究成功 Agents 應該具備哪些特性（例如，AI Agents 的規劃方式、記憶運用、工具選擇以及任務跟蹤能力）以及如何構建一個高效的 AI Agents 團隊。

而在另一端，是一些執行的任務目的單一、幾乎無需推理的 AI Agents。這些 AI Agents 往往更側重于特定的工作流程（例如，專門負責生成文檔摘要并保存結果的 Agent）。由于這些 Agents 的應用場景較為明確，因此它們通常更容易實現，不需要過多的規劃和跨工具協調，也無需處理復雜的決策問題。

隨著 Anthropic、微軟和蘋果的最新動態不斷發布，我們目睹了基于文本的 AI Agents 向多模態轉變。這一變化意味著我們可以通過書面或口頭指令來指導 AI Agents，使其能夠流暢地在手機或電腦上執行任務。這一技術有很大的潛力可以提升跨設備使用的便利性，然而，與此同時，這種技術也伴隨著重大的風險。Anthropic 關于 computer use 技術的相關公告強調了 AI 不受限制訪問用戶屏幕的潛在風險，并提出了一系列降低風險措施，例如在專用的虛擬機或容器中運行 Claude，將互聯網訪問限制在允許的域名列表中，進行人工干預檢查，并避免讓模型接觸敏感數據。他們還強調，通過 API 提交的內容不會被用于模型訓練。

02 Anthropic、微軟和蘋果最新公告亮點

2.1 Anthropic推出Claude 3.5 Sonnet：賦予人工智能使用計算機的能力

概述：Computer Use 的目標是讓 AI 能夠像人類一樣操作計算機。在理想狀態下，Claude 能夠實現文檔的打開與編輯、點擊頁面的各個區域、內容的滾動閱讀，以及命令行代碼的運行和執行等多種操作。目前，Claude 已能按照人類指令在屏幕上移動光標、點擊指定區域，并在虛擬鍵盤上輸入文字。在 OSWorld 基準測試[1]中，Claude取得了 14.9% 的成績，雖然超過了同基準測試中的其他 AI 模型，但與人類 70–75% 的平均得分相比，仍有不小的差距。
工作原理：Claude 通過查看用戶上傳的屏幕截圖，并計算像素位置來確定光標移動的位置，從而完成指定任務。研究人員提到，為了安全起見，在訓練過程中并未給予 Claude 互聯網訪問權限，但 Claude 能夠將從使用計算器和文本編輯器等簡單任務的訓練中學習到的知識，應用到更為復雜的任務上。在任務執行失敗時，它還會進行重試。Computer Use 功能包含了三個由 Anthropic 定義的工具：computer、text editor 和 bash。其中，computer 工具用于屏幕上的導航，text editor 用于文本文件的查看、創建和編輯，而 bash 則用于執行 bash shell 命令。
面臨的挑戰：盡管 Claude 的能力表現良好，但還有很長的路要走。目前，它在頁面滾動、整體穩定性方面存在問題，且對提示詞注入攻擊較為敏感。
使用指南：公眾可通過 Anthropic API 體驗公共測試版。Computer Use 功能可以與常規工具結合使用。

2.2 微軟的OmniParser & GPT-4V：讓AI能夠理解和操作屏幕

概述：OmniParser 用于解析用戶界面截圖，并將其轉換成結構化的數據輸出。這些輸出可以被傳遞給 GPT-4V 這樣的模型，以便根據檢測到的屏幕元素生成相應的操作動作。在包括專為 Windows 系統設計的 Windows Agent Arena[2] 在內的多種基準測試中，OmniParser 與 GPT-4V 的組合得分約為20%。這些測試任務旨在評估 AI Agents 在規劃、理解屏幕內容和使用工具方面的能力。
工作原理：OmniParser 通過整合多個經過微調的模型來解析屏幕內容。它采用了微調后的可交互圖標/區域檢測模型（YOLOv8[3]）、圖標描述模型（BLIP-2[4] 或 Florence2[5]）以及 OCR 模塊。這些模型被用于識別圖標和文本，并在生成內容描述后，將輸出數據發送給 GPT-4V，由 GPT-4V 決定如何利用這些信息與屏幕交互。
面臨的挑戰：目前，當 OmniParser 檢測到重復的圖標或文本并將其傳遞給 GPT-4V 時，GPT-4V 經常無法正確點擊目標圖標。此外，OmniParser 的準確性受 OCR 輸出影響，如果邊界框定位不準確，整個系統可能無法正確點擊鏈接區域。還有，對于某些圖標的理解也存在挑戰，因為同一個圖標有時會被用來表示不同的含義（例如，三個點可能代表加載中，也可能代表菜單選項）。
使用指南：OmniParser 可在 GitHub[6] 和 HuggingFace[7] 上獲取。您需要安裝必要的依賴項，并從 HuggingFace 加載模型。之后，您可以嘗試運行 demo notebooks，了解 OmniParser 如何分析圖像。

2.3 蘋果的Ferret-UI：將多模態智能引入移動端

概述：蘋果的 Ferret（任意時間、任意地點、任意粒度下引用和定位任何事物）技術早在 2023 年便已問世。近期，蘋果推出了 Ferret-UI，這是一款 MLLM（多模態大語言模型），能夠在移動設備端用戶界面上執行“引用、定位和推理”任務。這些任務包括小部件的分類和圖標的識別（引用任務），以及尋找特定圖標或文本（定位任務）。Ferret-UI 能夠理解用戶界面并根據指令進行交互。
工作原理：Ferret-UI 在 Ferret 的基礎上進行了優化，通過訓練來適應不同分辨率的圖像，從而更好地掌握移動端用戶界面的細節。每張圖像都被分割成兩張子圖像，并生成各自的特征。大語言模型（LLM）結合全圖像、兩張子圖像、區域特征和文本嵌入信息來生成響應。
面臨的挑戰：Ferret-UI 的相關論文指出，模型在某些情況下會預測目標附近的文本，而不是目標文本，或者當屏幕上出現拼寫錯誤的單詞時，會預測出正確的單詞，而不是屏幕上顯示的錯誤單詞，有時還會錯誤地識別用戶界面的屬性。
使用指南：蘋果在 GitHub[8] 上公開了 Ferret-UI 的數據和代碼，僅供研究目的使用。蘋果發布了兩個 Ferret-UI 模型版本，一個基于 Gemma-2b，另一個基于 Llama-3–8B。這些模型遵循 Gemma 和 Llama 的許可協議，而數據集則允許非商業用途。

2.4 總結：AI 驅動屏幕導航的三種策略

總的來說，這些系統分別展示了構建多模態 AI Agents 的不同路徑，它們能夠代表我們與電腦或手機進行交互。

Anthropic 推出的 Claude 3.5 Sonnet 著眼于一般的計算機交互，通過像素計數來實現屏幕上的精準導航。微軟的 OmniParser 則專注于解決將用戶界面拆分為結構化輸出的難題，隨后這些信息會被傳遞至 GPT-4V 等模型以決定下一步操作。而蘋果的 Ferret-UI 則是針對移動端用戶界面設計的，它能識別圖標、文字和小部件，并能執行與用戶界面相關的開放式指令。

這三種系統的工作流程一般包括兩個主要階段：一是解析視覺信息，二是思考如何與之交互。精確解析屏幕內容對于規劃交互方式以及確保系統穩定執行任務至關重要。

03 結語：打造更智能、更安全的AI Agents

依我之見，這些進步最激動人心的地方在于多模態功能與推理框架正逐步融合。雖然這些工具展現出巨大的潛力，但與人類的表現相比仍有較大差距。此外，在部署能夠訪問屏幕的 AI Agents 系統時，還必須正視和解決一系列 AI 安全方面的問題。

智能體系統的一大優勢在于它們能夠通過將任務細分為多個部分，從而克服單個模型在認知方面的局限性。這些系統的構建方式多種多樣。有時候，用戶面前看似單一的智能體，實際上可能是由多個子智能體組成的團隊 —— 每個子智能體擁有不同的職責，比如規劃（planning）、屏幕交互（screen interaction）或記憶存儲管理（memory management）。比如，負責推理的智能體可能會與專門處理屏幕數據的智能體協作，同時另一個智能體則負責整理記憶存儲，以提高未來的表現。

另外，這些功能也可以集成在一個全能的智能體中。在這種情況下，智能體可能包含多個內部規劃模塊 —— 一個專注于屏幕操作的規劃，另一個則負責整個任務的管理。盡管構建智能體的最佳方案尚待探索，但我們的目標始終不變：那就是創造出能夠在不同模態下長期穩定工作，并能無間適應用戶需求的智能體。

Thanks for reading!
Hope you have enjoyed and learned new things from this blog!

END

本期互動內容 ??

?如果讓 AI 來操作你的設備，你最擔心什么問題？安全、隱私還是其他？

??文中鏈接??

[1]https://os-world.github.io/

[2]https://microsoft.github.io/WindowsAgentArena/

[3]https://yolov8.com/

[4]https://arxiv.org/abs/2301.12597

[5]https://arxiv.org/abs/2311.06242

[6]https://github.com/microsoft/OmniParser/