01、概述

近日，微軟研究團隊發布了一個令人振奮的突破性成果——Magma。這一多模態AI基礎模型的問世，不僅為未來的智能機器人與虛擬助手鋪設了新道路，也讓我們看到了數字世界與物理世界深度融合的曙光。今天，就讓我們一起深入了解這個能跨越不同任務和環境的智能系統，它如何為我們創造出前所未有的可能性。

想象未來的AI助手：數字與物理的無縫連接

在科幻小說中，我們常常看到這樣的場景：一名機器人不僅能流暢地操作電腦，完成復雜的菜單導航，還能夠通過物理手段完成操作，比如拿起工具、搬動物品等。一直以來，這種跨越數字和物理世界的能力，似乎離我們很遠，但今天，微軟研究團隊的Magma模型讓這一夢想變得越來越真實。

Magma是一個多模態AI基礎模型，其設計初衷就是讓人工智能能夠處理并生成跨越數字和物理環境的行動建議。這意味著，Magma不僅能理解和操作用戶界面，還能夠協調機器人在現實世界中的動作與交互。它的能力讓我們不禁期待：未來，是否每個人都能擁有一個既能在電腦上操作系統，又能與現實世界中的物品互動的AI助手？

02、Magma的強大之處：一體化的多模態學習

與傳統的任務專用AI模型不同，Magma是建立在“基礎模型”這一理念上的，通過在海量多樣的數據集上進行預訓練，使得它在多種任務和環境下都能夠表現出色。無論是執行軟件中的指令，還是在物理世界中拿起工具，它都能輕松應對。這一切都歸功于它的**視覺-語言-行動（VLA）**能力，能夠將圖像、語言和空間信息綜合起來，從而理解并執行復雜的任務。

例如，Magma能夠根據用戶描述的目標，制定執行計劃并完成任務。它通過從公共的視覺和語言數據中轉移知識，使得它不僅能理解語言指令，還能理解空間和時間維度的關系，完美地將這三者融合在一起，解決復雜的任務和場景。

03、為Magma賦能的兩大創新：SoM和ToM

為了讓Magma能夠在數字世界和物理世界之間自由切換，微軟團隊引入了兩項創新技術——Set-of-Mark (SoM) 和 Trace-of-Mark (ToM)。這兩項技術在訓練過程中為模型提供了結構化的任務理解，使得Magma能夠在用戶界面導航和機器人操作兩個領域都表現得尤為出色。

Set-of-Mark (SoM)：任務中的關鍵元素

SoM為模型提供了任務相關的關鍵元素集，幫助Magma在處理圖像時快速識別出“需要關注的部分”。比如，當任務是瀏覽網頁時，SoM會標注出所有可點擊的界面元素，如按鈕和鏈接。對于物理任務，比如擺放餐具，SoM則會標記出盤子、杯子及其在桌子上的位置。這些高層次的提示讓Magma知道哪些物品或元素在完成任務中至關重要。

Trace-of-Mark (ToM)：任務的動態變化

與SoM的靜態標注不同，ToM則專注于捕捉任務中元素的動態變化。例如，在搬動物品的任務中，ToM會記錄手的運動軌跡，幫助Magma更好地理解動作的時間和空間演變。這種基于時間的視頻動態追蹤能力，使得Magma能夠在多變的環境中進行更為精準的任務預測和決策。

04、Magma亮點

零-shot智能：讓AI跨越領域與任務

Magma的另一個亮點在于其零-shot（零次訓練）能力。在沒有任何針對特定任務的數據集微調的情況下，Magma能夠進行跨領域的任務執行。例如，在模擬的Google Robots環境中，Magma能夠出色地完成不同類型的機器人操作任務，表現甚至優于許多專門為某一領域訓練的AI模型。

這一突破性的能力，讓Magma在多種應用場景下都能展現強大的適應性和靈活性。從虛擬助手到家庭機器人，Magma都能在沒有大量標注數據的支持下，實現出色的任務完成效果。

高效微調：提升模型執行能力

雖然Magma在零-shot模式下表現出色，但它也具備高效微調的能力。當任務需要更多定制化操作時，Magma能夠通過少量的數據微調，迅速適應新的環境或任務要求。例如，在Web用戶界面導航任務中，Magma通過在少量的網頁數據集上進行微調，表現出了比其他專門訓練的模型更高的成功率。

圖5中顯示的Widow-X機器人和LIBERO機器人的微調實驗，進一步證明了Magma在實際應用中的強大性能。即使在面對不同機器人硬件的情況下，Magma依然能夠順利完成任務，并且表現出比其他方法更高的成功率。

05、Magma的未來：通向全面智能的關鍵一步

Magma不僅僅是一個AI模型，它代表了微軟研究對于未來智能體系統的整體構想。通過結合推理能力、探索能力和行動能力，Magma正在為下一代強大且靈活的AI助手奠定基礎。未來，開發者將能夠通過Magma與AutoGen結合，構建出能夠在現實世界中執行復雜任務的智能系統，無論是虛擬助手還是智能機器人。

06、結語：邁向智能新時代

Magma的發布，標志著微軟在智能體AI領域的又一重大突破。通過跨越數字和物理世界，Magma讓我們看到了一個全新的AI應用場景：不僅能理解語言和視覺，還能在物理世界中進行準確的操作。隨著技術的不斷進步，未來的智能體將能夠更好地理解和適應我們的生活環境，成為更加強大而智能的助手。

對于開發者而言，Magma和AutoGen的結合，提供了一個極為強大的工具，幫助他們在更廣泛的場景中實現AI的應用。無論是家庭助手，還是工業機器人，Magma都將帶來更高效、更精準的任務執行能力。

作為微軟研究的最新成果，Magma無疑為我們展示了未來人工智能的無限潛力。隨著這一技術的不斷迭代和應用，我們有理由相信，智能世界的到來不再遙遠。

本文轉載自公眾號Halo咯咯    作者：基咯咯

原文鏈接：??https://mp.weixin.qq.com/s/pxv7voHFTW1Ob6c4qC5TVg??