真實世界模擬器來啦！

還在發愁訓練出的大模型無法適應真實的物理世界嗎？

AI Agent想要進入我們的生活還有多遠的距離？

——UC伯克利、谷歌DeepMind、MIT和阿爾伯塔大學的研究人員告訴你答案。

在NeurlPS 2023上，研究人員將展示他們最新的工作：真實世界模擬器UniSim。

視頻演示：https://universal-simulator.github.io/unisim/

論文地址：https://arxiv.org/pdf/2310.06114.pdf

當今的生成式大模型徹底改變了文本、圖像和視頻內容的創建方式。

那么，生成式AI的下一步會是什么呢？

也許是模擬現實體驗，——以響應人類、機器人和其他交互式代理所采取的行動。

要達到這個目標，就需要用到真實世界模擬器。

真實世界模擬器有很多應用場景，比如游戲和電影中的可控內容創建，或者訓練可以直接部署在現實世界中的具身代理。

長視距模擬

UniSim的真正價值在于模擬長事件，通過搜索、規劃、最佳控制或強化學習來優化決策。下面的視頻演示了UniSim如何模擬長視距的交互式體驗。

使用UniSim進行強化學習（RL）

RL代理可以在UniSim提供的模擬世界中進行有效訓練，之后可以直接轉移到真實的機器人上，避免了在現實世界中搭建昂貴而復雜的訓練環境。

經過上面在UniSim中的訓練之后，可以零樣本部署到真實機器人上：

使用UniSim進行長期規劃

輸入長期指令，使用UniSim推理和生成視頻。然后，生成的視頻和說明可用于訓練視覺語言模型 （VLM） ，生成模擬計劃，并零樣本轉移到真實機器人。

代表真實世界的模擬器，顯然需要大量真實世界的數據。

研究人員發現，可用于學習的自然數據集通常包含很多維度，比如圖像數據中的豐富對象，機器人數據中的密集采樣動作，以及導航數據中的不同運動。

通過對各種數據集的精心編排，每個數據集都提供了整體體驗的不同方面。

UniSim 可以通過模擬高級指令（如「打開抽屜」）和低級控件（如「按 x、y 移動」）的視覺結果，來模擬人類或代理與世界的交互方式。

UniSim可以用來訓練高級視覺語言規劃器，和低級強化學習策略，并且能夠做到零樣本（zero-shot）遷移到真實世界的應用中。

此外，其他類型的AI（如視頻字幕模型）也可以從UniSim提供的模擬體驗中獲益。

從汽車在街上行駛，到家具的組裝和飯菜的準備，通過全面的真實世界模擬器，人類可以與不同的場景和物體進行交互，

機器人可以從模擬經驗中學習而不必擔心物理損壞的風險，并且可以模擬大量真實世界數據來訓練其他類型的機器智能。

不過，想要構建這樣一個真實世界的模擬器，一個障礙就是可用的數據集。

雖然互聯網上有數十億個文本、圖像和視頻片段，但不同的數據集涵蓋了不同的信息軸，必須將這些軸匯集在一起以模擬世界的真實體驗。

例如，成對的文本圖像數據包含豐富的場景和物體，但沒有運動數據，

視頻字幕和問答數據包含豐富的高級活動描述，但很少有低級運動細節，

人類活動數據包含豐富的人體動作，但沒有機械運動信息，

機器人數據包含豐富的機器人動作，但數據集本身很有限。

由于不同的數據集是由不同的工業或研究社區，針對不同的任務策劃的，所以信息的差異是自然的，很難克服。

本文的工作邁出了通過生成式建模，構建真實世界交互通用模擬器（UniSim）的第一步。

論文細節

研究人員將大量數據（互聯網文本圖像和導航、操作、人類活動、機器人技術以及模擬和渲染的數據）組合在一個有條件的視頻生成框架中。

通過對不同維度的豐富數據進行精心編排，UniSim成功地合并了各種不同的體驗信息，并在數據之外進行了泛化，通過對其他靜態場景和對象的細粒度運動控制，來實現豐富的交互。

此外，UniSim融合了條件視頻生成，與部分可觀測馬爾可夫決策過程（POMDP），可以跨視頻生成邊界，一致地模擬長視距交互。

交互式真實世界模擬器

對比一般的視頻生成模型，交互式真實世界模擬器需要支持一組不同的操作和長期交互。

要訓練這樣的模擬器，首先需要從廣泛的數據中提取信息。

這里的重點數據是對世界的視覺觀察，以及導致這些視覺觀察發生變化的行動。

將來自不同類型數據集的觀察和行動提取并融合成一種通用格式，

然后用一個將視頻和文本聯系起來的通用接口，來融合不同數據集之間的信息。

模擬執行和渲染

雖然為真實世界的視頻注釋動作很昂貴，但模擬引擎能夠渲染各種各樣的動作，可以使用從模擬引擎收集的數據集來訓練UniSim。

對于模擬的連續控制操作，通過語言嵌入對其進行編碼，并將文本嵌入與離散化的控制值連接起來。

真實的機器人數據

真實機器人執行視頻數據往往與任務描述配對，盡管機器人之間的低級控制操作通常不同，但任務描述可以作為UniSim中的高級操作。

人類活動視頻

有很多紀錄人類活動的數據集，如Ego4D、EPIC-KITCHENS和Something-Something，這些活動視頻包含人類與世界互動的高級動作。

文中將視頻標簽轉換為文本操作，并對視頻進行子采樣，以幀速率構建觀察塊，以捕獲有意義的操作。

全景掃描

目前有大量的3D掃描（比如Matterport3D）數據。這些靜態掃描不包含操作，但可以通過截斷全景掃描來構建動作（比如左轉），還可以利用兩張圖像之間相機姿勢變化等信息。

互聯網文本圖像數據

成對的文本圖像數據集（如LAION），包含豐富的靜態對象，但沒有動作。

不過，文本標簽通常會包含運動信息，例如“一個人在走路”。此外，與上述其他數據集相比，互聯網文本圖像數據可以描述更豐富的對象集。

為了在UniSim中使用文本圖像數據，這里將單個圖像視為單幀視頻，將文本標簽視為操作。

有了從這些數據集中提取的觀測和行動數據，就可以訓練一個擴散模型來預測當前條件下的下一個觀察幀。

根據擴散模型的原理，首先將包含時間信息的高斯噪聲添加到先前觀測值中，然后以輸入動作為條件， UniSim學習將先前的噪聲觀測值降噪到下一個觀測值。

由于來自不同環境的觀察結果都已轉換為視頻，而不同模態的動作（文本描述、運動控制、相機角度等）都已轉換為連續嵌入，因此UniSim可以利用所有的數據集學習單個世界模型。

上圖展示了UniSim的訓練和推理。UniSim（T）是一個視頻擴散模型，給定前一個觀測（o）和動作輸入（a）的噪聲版本，UniSim可以預測下一個（可變長度的）觀察幀（o）。

UniSim可以處理不同模態的動作，例如不同長度的電機控制指令、動作的語言描述，以及從相機運動和其他來源中提取的動作。

通過POMDP實現長期交互

結合不同的數據可以實現豐富的交互，但UniSim的真正價值在于模擬長期交互。

UniSim中的推理類似于在部分可觀察的馬爾可夫決策過程（POMDP）中執行部署，能夠使用已建立的算法學習決策策略。

POMDP可以定義一個由狀態、動作和觀測空間以及獎勵、轉換和觀測發射函數組成的元組。

POMDP可以表征與現實世界的交互，而UniSim作為過渡函數。

上圖展示了UniSim對于各種動作的模擬，可以同一初始幀開始，根據指令推理出不同的發展。

上圖展示了UniSim按順序自回歸模擬8次交互，長期交互中保持了時間一致性，正確地保留了對象和位置。

在初始幀中指示一個人執行各種廚房任務（左上角），按下不同的開關（右上角）或導航場景（底部）。

除了支持豐富的動作和長視距交互外，UniSim還可以支持高度多樣化和隨機的環境轉換。

比如物體顏色和位置的多樣性，以及現實世界的可變性，例如風和攝像機角度的變化。

可以使用語言動作來指定不同物體的外觀，并利用視頻生成的隨機采樣過程，來支持風和攝像機角度等環境隨機性。

由于擴散模型在捕獲多模態分布方面非常靈活，因此可以生成代表高度隨機環境的各種樣本。

上圖顯示了UniSim的多樣化隨機模擬。

UniSim的應用

下面展示使用UniSim通過模擬高度逼真的體驗，來訓練其他類型的機器智能。

視覺語言規劃器

通過在UniSim中對每個軌跡進行3-5次部署，從UniSim創建總共10k個長期軌跡，其中每個部署對應于一個類似于原始數據集的腳本語言指令。

然后使用每個長期部署的最后一幀作為目標輸入，并使用腳本語言指令作為訓練VLM策略的監督。

下圖顯示了VLM生成的語言計劃、UniSim根據語言計劃生成的視頻，以及在真實機器人上的執行。在UniSim中訓練的策略可以以零樣本的方式直接在現實世界中執行遠距離任務。

根據UniSim的數據進行訓練的VLM，可以通過成功移動三個塊（藍色、綠色、黃色）來匹配它們在目標圖像中的目標位置，從而規劃長期任務。

強化學習策略

UniSim可以通過為智能體提供可以并行訪問的逼真模擬器，來實現對RL智能體的有效訓練。

在上圖中，通過重復應用低級控制動作，來評估UniSim在模擬真實機器人執行中的質量，在20-30個步驟中向左、向右、向下、向上和對角線移動色塊，RL策略可以成功完成「將藍色立方體移動到綠色圓圈」的任務。