本文作者蔣楠是北京大學智能學院二年級博士生，指導教師朱毅鑫教授，與北京通用人工智能研究院黃思遠博士聯合開展研究工作。他的研究重點是人-物交互理解和數字人的動作生成，并于ICCV，CVPR和ECCV等頂會發表多篇論文。

近年來，人物動作生成的研究取得了顯著的進展，在眾多領域，如計算機視覺、計算機圖形學、機器人技術以及人機交互等方面獲得廣泛的關注。然而，現有工作大多只關注動作本身，以場景和動作類別同時作為約束條件的研究依然處于起步階段。

為了解決這一問題，北京通用人工智能研究院聯合北京大學、北京理工大學的研究員提出了一種使用自回歸條件擴散模型的動作生成框架，實現真實、帶有語義、符合場景且無長度限制的動作生成。此外，文章發布了大規模人物 - 場景交互數據集 TRUMANS，包含準確且豐富的針對人物動作以及三維場景的標注信息。

• 論文鏈接：https://arxiv.org/pdf/2403.08629
• 項目主頁：https://jnnan.github.io/trumans/
• 代碼、數據鏈接：https://github.com/jnnan/trumans_utils

研究概述

圖 1. 人物 - 場景交互動作生成方法和 TRUMANS 數據集

與場景物體的交互是人們日常活動的重要組成部分，例如坐在椅子上、拿起瓶子或打開抽屜等動作。如今，仿真人類肢體動作已成為計算機視覺、計算機圖形學、機器人技術和人機交互等領域的一項重要任務。生成人體動作的核心目標在于創造自然、逼真且多樣化的動態模式。深度學習技術的興起使人體動作生成方法得到飛速發展。人體建模技術的重大突破也使構建龐大的人體動作數據庫變得更為便捷。基于這些進展，近年來以數據為驅動的人體動作生成技術越來越受到研究界的重視。

目前，多數動作生成的方法以語義作為控制變量，在給定交互物體 [1] 和場景 [2] 的條件下生成動作的研究仍處于起步階段，這主要由于缺乏高質量人體動作與場景交互數據集。現有的真實場景數據集在人體動作捕捉質量方面仍有不足。盡管通過 VICON 等設備錄制的動作捕捉數據集能夠帶來質量的提升，但這些數據集缺乏多樣化的 3D 場景中人與物體的交互。最近，使用虛擬仿真技術的合成數據集因其低成本和高適應性而引起研究者們的關注。

針對現有方法的不足，本文提出了一種融合場景和語義信息的動作生成框架，由自回歸的擴散模型作為驅動，能夠在給定動作類別和路徑點的條件下，生成符合場景約束的人物動作。為了獲取場景中的動作數據，本工作發布了一個全新的人物 - 場景交互數據集 TRUMANS，包含在真實世界捕捉的 15 小時動作數據，并合成到 3D 虛擬場景中，覆蓋了臥室、餐廳和辦公室等 100 個場景配置。TRUMANS 包含尋路、物體操作、及與剛性和鉸接物體的交互等全面的日常行為。

動作生成框架

圖 2. 本文提出的動作生成框架使用自回歸機制，將場景和動作類別作為條件控制動作的生成。

本研究提出的方法采用自回歸的方式逐段生成動作。段內的起始動作源于上一段末尾，后續動作由擴散模型生成。為了使生成的動作符合場景約束，作者基于空間占有網格提出一個局部場景感知器，將每段動作終點附近環境的特征編碼，并納入動作生成模型的條件。為了將逐幀的動作標簽作為可控條件納入，動作信息編碼器將時間信息整合到動作片段中，使得模型可以在任意時刻接受指令，并生成符合給定動作標簽的運動。

本文提出的方法可以支持路徑軌跡約束以及精確的關節位置控制。由于本文方法采用了自回歸逐段生成的機制，路徑和關節約束可以通過為每段動作生成設定子目標的方式實現。對于行走動作控制，每個子目標描述了當前段末尾人物骨盆在水平面的預設位置。根據當前段的起始和終止位置之間的場景信息，模型生成包含骨盆運動軌跡在內的全身動作。例如，當子目標位于椅子上時，需要讓角色坐下。對于涉及物體抓握的動作，手部的位置控制也使用相同的技術。例如生成抓取瓶子或推門等動作時，將手部關節位置設為子目標，并由用戶設置在物體上的期望位置。模型將關節上的噪聲歸零并補全其余部分的人體動作。進一步的精細接觸通過優化手與物體的相對位置的方式實現。

本地場景感知器用于獲取本地場景幾何信息，并將其作為運動生成的條件。具體來說，給定一個場景，首先生成一個全局占用網格，每個單元格被分配一個布爾值表示其是否可達，1 表示可達，0 表示不可達。本地占用網格是以當前循環節的子目標為中心的三維網格，垂直范圍內從 0 米到 1.8 米，方向與第一幀中角色骨盆的偏航方向對齊。本地占用網格的值通過查詢全局占用網格獲取。本文提出使用 Vision Transformer (ViT) 對體素網格進行編碼。通過沿 xy 平面劃分本地占用網格，將 z 軸視為特征通道來構建 Token，并將這些 Token 輸入到 ViT 模型中。場景經過 ViT 編碼后的輸出被用作動作生成模型的條件。

與之前基于單一動作描述生成完整動作序列的方法不同，本文在生成長期動作時逐幀使用動作標簽作為條件。在這個模型中，一個特定動作可能會超過一個循環節，并在多個循環節中繼續。因此模型需要理解動作執行的進程。為了解決這個問題，本研究引入了一個進度標識符，用于支持逐幀的動作類別標簽。具體實現方式為在原始 multi-hot 動作標簽上，對每段完整的交互添加一個 0 到 1 之間隨時間線性增長的數。這樣的操作使得模型能夠應對跨多個循環節的動作，增強生成動作序列的語義完整性和連續性。

數據集

數據方面，本文發布了全新的人物 - 場景交互數據集 TRUMANS，精確地復制了 3D 合成場景到物理環境中，兼具數據質量與規模；包括 15 小時的長序列人體動作捕捉，配套 100 個室內場景，類別包含臥室，客廳和辦公室等。盡管場景是合成的，作者通過對每個合成場景的細致還原，確保了人與物體之間的交互保持自然且精確。TRUMANS 動作涵蓋日常人物行為，包括尋路、抓取，以及與剛性和鉸接物體的交互。為了進一步提高數據的可擴展性，本文應用了一種基于現有數據進行數據增強方式，使得數據集中的物體可以在一定范圍內改變位置和尺寸，并自動更新人物動作以匹配變化。

圖 3. TRUMANS 動作捕捉數據集

圖 4. 根據變化的物體尺寸自動調整動作，高效擴展數據規模

實驗結果

下面是本文所提出的動作生成方法的應用場景示例。

（1）基于給定的路徑關鍵點，本文方法能夠生成多樣的場景中行走動作，且人物對場景中的障礙物有自然的反饋。

（2）本文方法適用于手持小物體的抓取和交互動作生成。例如走近并抓取放置于桌子上的水瓶，并做出喝水的動作。完成過程中需要根據場景布局調整動作。

（3）基于給定手部運動軌跡，生成滿足該軌跡的全身動作，且不與場景中的物體發生沖突。

圖 5. 動作生成的多樣性展示

圖 6. 給定手部運動軌跡和場景的全身動作生成

圖 7. 手持小物體的交互動作生成

為了量化本文方法的性能，作者根據交互物體可動與否構建了兩套評價體系。對于靜態交互物體，本文評測的動作包含坐，躺，以及在場景中的走動。評測指標主要針對動作是否與場景發生穿模，腳部滑動，以及被試對生成質量的主觀評價。而對于動態交互物體，本文關注抓握的過程以及后續的交互動作。評價指標量化了動作是否符合給定的類別，動作的多樣性，穿模程度，以及被試主觀評價。此外，研究還對比了使用 TRUMANS 以及現有的 PROX 和 GRAB 數據集訓練得到的動作生成質量。實驗結果證實了本文所提方法的優越性，以及 TRUMANS 數據對人物 - 場景交互生成任務帶來的全面質量提升。

表 1-2. 動態與靜態物體交互動作生成結果在不同方法和數據集訓練結果的比較