LeCun世界模型再近一步！Meta研究證明：AI可無先驗理解直覺物理

作者：新智元 2025-03-03 09:22:00

人工智能新聞

AI如何理解物理世界？視頻聯合嵌入預測架構V-JEPA帶來新突破，無需硬編碼核心知識，在自監督預訓練中展現出對直觀物理的理解，超越了基于像素的預測模型和多模態LLM。

對物理的直觀理解是人類認知的基礎：期望物體的行為，具有可預測性，也就是說，物體不會突然出現或消失，穿過障礙物，或隨意改變形狀或顏色。

這種對物理的直觀理解，還在更多物種中得到證實，包括猴子、鯨魚、烏鴉等。

相關研究人員猜測：人類天生或嬰幼兒時期就具備一套進化形成的、古老的系統，專門用于表示和推理世界的基本屬性，比如物體、空間、數字、幾何形狀等。

Meta新研究證明，沒有任何先驗知識，自監督視頻模型V-JEPA，也能夠理解直觀物理學！

換句話說，通過觀察，V-JEPA覺醒了物理直覺，和人類一樣不需要硬編碼，天生如此！

V-JEPA不是去生成像素級的精準預測，而是在抽象的表示空間里進行預測。

這種方式更接近LeCun所認為的人類大腦處理信息的模式。

他甚至回歸X平臺，轉發論文通訊作者的post，宣布：「新方法學會了直觀物理」。

這次的主要發現如下：

V-JEPA能夠準確且一致地分辨出，符合物理定律的視頻和違反物理定律的視頻，遠超多模態LLM和像素空間中的視頻預測方法。
雖然在實驗中觀察到改變模型的任一組件，都會影響性能，但所有V-JEPA模型都取得了明顯高于隨機水平的表現。

論文鏈接：https://arxiv.org/abs/2502.11831

V-JEPA被網友Abhivedra Singh評價為：AI的關鍵飛躍！

AI直觀物理: 第三條路

在語言、編碼或數學等高級認知任務上，現在高級的AI系統通常超越人類的表現。但矛盾的是，它們難以理解直觀物理，沒有物理直覺。

這就是莫拉維克悖論（Moravec's paradox），即對生物體來說微不足道的任務，對人工系統來說可能非常困難，反之亦然。

之前，有兩類研究致力于提高AI模型對直觀物理的理解：結構化模型和基于像素的生成模型：

1. 結構化模型：利用手工編碼的物體及在3D空間中關系的抽象表示，從而產生強大的心理「游戲引擎」，能夠捕捉人類的物理直覺。這是核心知識假設的一種可能的計算實現。

2. 基于像素的生成模型則持截然相反的觀點，否認需要任何硬編碼的抽象表示。相反，它們提出了通用的學習機制，即基于過去的感官輸入（例如圖像）來重建未來的感官輸入。

新研究則探討了位于這兩種對立觀點之間、第三類模型：聯合嵌入預測架構（Joint Embedding Predictive Architectures，JEPAs）。

新研究專注于視頻領域，特別是視頻聯合嵌入預測架構V-JEPA。V-JEPA在下列文章中首次提出。

論文鏈接：https://arxiv.org/abs/2404.08471

基于心理學的預期違背理論，這次直接探測直觀物理理解，而不需要任何特定任務的訓練或調整。

研究人員通過促使模型去想象未來的視頻表示，并將其預測與實際觀察到的未來視頻進行比較，獲得了定量的驚訝度，用來檢測違背的直觀物理概念。

測量直觀物理理解

預期違背

預期違背起源于發展心理學。

受試者（通常是嬰兒）會看到兩個相似的視覺場景，其中一個包含物理上的不可能事件。

然后通過各種生理測量方法，獲得他們對每個場景的「驚訝」反應，并用于確定受試者是否發生了概念違背。

這種范式已被擴展到評估AI系統的物理理解能力。

與嬰兒實驗類似，向模型展示成對的場景，其中除了違反特定直觀物理概念的單個方面或事件，其他所有方面（物體的屬性、物體的數量、遮擋物等）在兩個場景中都保持相同。

模型對不可能場景表現出更高的驚訝反應，反映了對被違背的概念的正確理解。

理解直觀物理的視頻預測

V-JEPA架構的主要開發目的，是提高模型適應高級下游任務的能力，直接從輸入中獲取，而不需要一連串的中間表征。

研究團隊驗證了一個假設，即這種架構之所以能成功完成高級任務，是因為它學會了一種表征方式，這種方式能隱含地捕捉到世界中物體的結構和動態，而無需直接表征它們。

如下圖所示，V-JEPA是通過兩個神經網絡實現的：

編碼器：從視頻中提取表示；
預測器：預測視頻中人為遮蔽部分的表示，比如隨機遮蔽的時空塊、隨機像素或未來幀。

訓練從視頻和損壞版開始，首先提取表征。

然后，從損壞視頻的表征，來預測原始視頻的表征。通過編碼器和預測器的聯合訓練，編碼器能夠學習到編碼可預測信息的抽象表示，并舍棄低層次（通常較少語義）的特征。

經過訓練之后，在學習到的表征空間中，V-JEPA可以「修復」自然視頻。

在自監督訓練之后，可以直接使用編碼器和預測器網絡，無需任何額外的適應，來探測模型對世界理解的程度。

具體來說，通過遍歷視頻流，模型會對觀測到的像素進行編碼，并隨后預測視頻中后續幀的表示，如圖1.C所示：

從訓練好的V-JEPA 中，基于M個過去的幀，預測N個未來幀的表征。

然后比較預測與觀察到的事件表征，來計算驚訝度指標。

最后，使用驚訝度指標，決定兩個視頻中的哪一個違反了物理學定律。

通過記錄每個時間步的預測誤差——即預測的視頻表示與實際編碼的視頻表示之間的距離——獲得了一個在時間上對齊的、量化模型在視頻中驚奇程度的度量。

圖1：在表征空間中進行視頻預測（V-JEPA）實現對直觀物理的理解。

改變模型用來預測未來的過去視頻幀（上下文）的數量，可以控制記憶；通變視頻的幀率，可以控制運動的精細度。

AI發現「物理穿幫」鏡頭

研究團隊評估了三個數據集上的直觀物理理解：IntPhys的dev數據集、GRASP和 InfLevel-lab。

這些基準測試的組合提供了視覺質量（合成/照片級真實感）、場景多樣性以及直觀物理屬性的多樣性。具體而言，這些數據集的組合能夠探究對以下概念的理解：物體永恒性、連續性、形狀和顏色恒常性、重力、支持力、堅固性、慣性以及碰撞。

將V-JEPA與其他視頻模型進行比較，目的是研究視頻預測目標及表征空間對直觀物理理解的重要性。

此次考慮了兩類其他模型：視頻預測模型和多模態大型語言模型 (MLLM)。

視頻預測模型：直接在像素空間中進行預測，預訓練方法與V-JEPA在預測目標上相似，但通常學習到的表征空間的語義性較差，因此通常只有在針對特定任務微調后才具有實際應用。
多模態大語言模型：主要用于預測文本，并且在訓練過程中僅在事后與視頻數據結合，因此缺乏視頻預測的目標。

作為前者的代表性方法，作者評估VideoMAEv2。

盡管該模型使用了不同的預測目標和預訓練數據，但其預測空間的設置使得與V-JEPA進行比較成為可能。鑒于其預測性質，VideoMAEv2可像V-JEPA一樣，通過預測未來并通過預測誤差衡量驚訝程度來進行評估。

作為后者的典型的示例方法，作者研究了Qwen2-VL-7B和Gemini 1.5 Pro。

就參數數量和訓練數據量而言，這些模型都比V-JEPA大得多，并且它們主要從文本數據中學習。多模態大型語言模型，將視頻和可能的文本提示作為輸入，并學習生成相應的文本輸出。

由于MLLM只有文本輸出，因此無法使用基于定量驚訝度量去評估這些模型。

所以給模型一對視頻，詢問哪個視頻在物理上是不可能的, 如下所示。

對于每個方法，作者評估了原始研究中提出的旗艦模型。

進一步將全部模型與未訓練的神經網絡進行比較，以測試直覺物理理解的可學習性。對于每個屬性和模型，選擇的上下文大小要最大化性能，以便讓模型能夠適應不同的評估設置。

在3個直觀物理數據集IntPhys、GRASP和InfLevel上，使用違反預期范式，評估視頻模型。V-JEPA對不合理的視頻明顯更加「驚訝」，是唯一一個在所有數據集上表現出顯著優于未訓練網絡的性能的方法，在IntPhys、GRASP和InfLevel-lab數據集上分別達到了98%、66%和62%的平均準確率。

下圖總結了各方法在不同數據集上的對比分類性能（即，在一對視頻中檢測哪個是不可能的）。