現在正是「文本生視頻」賽道百花齊放的時代，而且其應用場景非常多，比如生成創意視頻內容、創建游戲場景、制作動畫和電影。甚至有研究表明還能將視頻生成用作真實世界的模擬器，比如 OpenAI 今年初就發布過一份將視頻生成模型作為世界模擬器的技術報告，參閱機器之心報道《我在模擬世界！OpenAI 剛剛公布 Sora 技術細節：是數據驅動物理引擎》。

文本生視頻模型的這些近期應用既有望實現互聯網規模級別的知識遷移（比如從生成人類視頻到生成機器人視頻），也有望打通實現通用智能體的道路（比如用單個策略控制不同環境中不同形態的機器人來執行多種多樣的任務）。

然而，現實情況是，文本生視頻模型的下游應用還很有限，原因包括幻覺問題以及生成的視頻內容不符合現實物理機制等。

雖然理論上可以通過擴大數據集和模型大小來有效減輕這些問題，但對視頻生成模型來說，這會很困難。

部分原因是標注和整理視頻的人力成本很高。另外，視頻生成方面還沒有一個非常適合大規模擴展的架構。

除了擴大規模，LLM 領域的另一個重要突破是能整合外部反饋來提升生成質量。那文本生視頻模型也能受益于這一思路嗎？

為了解答這一問題，一個多所機構的研究團隊探索了視頻生成模型能自然獲得的兩種反饋類型，即來自視覺 - 語言模型（VLM）的 AI 反饋和將生成的視頻轉換成運動控制時得到的真實世界執行反饋。

為了利用這些反饋來實現視頻生成模型的自我提升，該團隊提出了 VideoAgent，即視頻智能體。該研究有三位共一作者：Achint Soni、Sreyas Venkataraman 和 Abhranil Chandra。其他參與者包括滑鐵盧大學 Sebastian Fischmeister 教授、斯坦福大學基礎模型研究中心（CRFM）主任 Percy Liang 以及 DeepMind 的 Bo Dai 和 Sherry Yang（楊夢嬌）。

• 論文標題：VideoAgent: Self-Improving Video Generation
• 論文地址：https://arxiv.org/pdf/2410.10076
• 代碼地址：https://github.com/Video-as-Agent/VideoAgent

不同于將生成的視頻直接轉換成運動控制的策略，VideoAgent 的訓練目標是使用來自預訓練 VLM 的反饋來迭代式地優化生成的視頻規劃。

在推理階段，VideoAgent 會查詢 VLM 以選擇最佳的改進版視頻規劃，然后在環境中執行該規劃。

在在線執行過程中，VideoAgent 會觀察任務是否已成功完成，并根據來自環境的執行反饋和從環境收集的其它數據進一步改進視頻生成模型。

生成的視頻規劃獲得了兩方面的改進：

• 該團隊受一致性模型的啟發，提出了用于視頻擴散模型的自我調節一致性（self-conditioning consistency），其可將來自視頻擴散模型的低質量樣本進一步優化成高質量樣本。
• 當可在線訪問環境時，VideoAgent 會執行當前視頻策略并收集其它成功軌跡，以進一步在成功軌跡上微調視頻生成模型。

圖 1 是 VideoAgent 的直觀圖示。

通過自我調節一致性實現視頻優化

他們首先考慮的是基于第一幀和語言的視頻生成，即根據語言描述找到從初始圖像開始的一個圖像幀序列。通常來說，當某個樣本來自一個視頻生成模型時，其中一部分更真實（開始部分），另一部分則充滿幻覺（結尾部分）。

也就是說，雖然生成的視頻規劃可能無法完全完成指定的任務，但它能提供有意義的信息，以幫助進一步改進以實現正確的規劃。

為了利用這樣的部分進展，該團隊使用了一個視頻一致性模型，即基于之前的自我生成的樣本為 ground truth 視頻執行擴散，這樣模型就可以學會保留視頻的真實部分，同時優化其中的幻覺部分。

此外，除了基于之前生成的樣本來優化視頻，該團隊還納入了反饋，包括來自人類的反饋和來自 VLM 的反饋。這被稱為反饋引導的自我調節一致性。

這里我們僅描述了其大概方法，詳細過程和形式化描述請參閱原論文。

通過 VLM 引導的視頻生成實現推理

在訓練了視頻生成模型和視頻優化模型之后，可采樣視頻生成模型然后迭代式地使用優化模型來實現視頻優化。

具體來說，VideoAgent 首先會基于第一幀和語言的視頻生成來「猜測」視頻規劃。

接下來，迭代地使用優化模型來執行優化，這里會使用 VLM 來提供反饋。

算法 1 展示了使用 VLM 反饋的視頻生成和優化模型。

算法 2 則給出了在推理時間生成、優化和選擇視頻規劃（重新規劃）的方式。

通過在線微調實現自我改進

除了上面描述的基于自我調節一致性的視頻優化，該團隊還進一步將視頻生成和視頻細化的組合描述為一種策略，該策略可以通過在線交互期間從環境中收集的額外真實數據進行訓練，從而實現改進。

有多種強化學習技術可以滿足這一需求，算法 3 描述了其細節。

實驗

為了評估 VideoAgent，該團隊進行了多個實驗，包括該模型的端到端成功率、不同組件的效果以及能否提升真實機器人視頻的質量。

數據集

實驗中，該團隊考慮了三個數據集：

• Meta-World：11 個機器人操作任務，由模擬的 Sawyer 機器臂執行，視頻演示是從三個不同的攝像機角度拍攝的。
• iTHOR：一個模擬的 2D 目標導航基準，其中智能體在四種房間類型中搜索指定的目標物體。
• BridgeData V2：一個真實的機器人操作數據集。

端到端任務成功率

實驗過程就不過多贅述了，直接來看結果。

首先，表 1 給出了在 Meta-World 上的端到端任務成功率。

可以看到，自我調節一致性已經能讓 VideoAgent 的總體成功率超越基線（19.6% 到 22.3%），其中一些任務更是大幅提升，比如在關閉水龍頭（faucet-close）任務上的成功率從 12% 猛增至 46.7%。

而如果再進一步引入在線微調，成功率還能進一步提升，并且多迭代一次都會多一點提升。

引入重新規劃后，VideoAgent 的優勢仍然存在，并且總體任務成功率達到了 50%，達成了該設置下的當前最佳水平。

表 2 展示了在 iTHOR 上的成功率，可以看到 VideoAgent 同樣全面優于基線 AVDC。

理解 VideoAgent 不同組件的效果

該團隊也通過對比研究分析了 VideoAgent 不同組件的效果，具體包括 (1) 向優化模型提供不同類型的反饋，(2) 改變優化和在線迭代的次數，(3) 調整 VLM 反饋的質量。

表 3 展示了不同 VLM 反饋的效果（基于 Meta-World）。可以看到，不管是二元反饋還是描述性反饋，都比沒有反饋好，更比基線 AVDC 好得多。

圖 3 和 4 分別展示了優化和在線迭代的次數的影響。整體來看，增多迭代次數有助于提升模型，并且效果很顯著。

由于這項研究是首批利用 VLM 為視頻生成提供反饋的研究之一，因此一個重要的研究課題是：了解 VLM 是否真的可以為視頻生成提供足夠準確的反饋。

表 4 給出了 VLM 反饋的各項性能指標，這里使用了人工標注作為 ground truth 來進行評估。

可以看到，原始提示詞（Unweighted）的準確度是 69%，這說明 VLM 足以評價生成的視頻。而通過重新加權來懲罰假正例（Weighted）還能大幅提升其準確度。另外值得注意的是，從提示詞中移除第三個攝像頭甚至還能獲得更高的準確度，這說明 VLM 的準確性會受到部分可觀測性的影響。

在真實世界視頻上評估自我優化

最后，該團隊也評估了 VideoAgent 改進真實視頻的能力。結果見表 5。

可以看到，在視頻分數的 5 個子指標上，VideoAgent 在其中 4 個上表現更優，在唯一的例外「動態分數」上也與基線差距細微。此外，VideoAgent 在 CLIP 分數、流一致性和人類評估上也都更好。這表明 VideoAgent 可以生成更流暢、更符合現實世界的物理邏輯的視頻。

最后，圖 5 給出了一個定性評估結果。

其中，中間行是基線，可以看到其出現了幻覺（碗消失了），而 VideoAgent 很好地完成了視頻生成任務。