本文介紹一種人類 - 場(chǎng)景交互合成方法

人類 - 場(chǎng)景交互（HSI）生成對(duì)于具身人工智能、虛擬現(xiàn)實(shí)和機(jī)器人技術(shù)等領(lǐng)域的應(yīng)用至關(guān)重要。雖然現(xiàn)有的方法能夠在三維場(chǎng)景中合成逼真的人類動(dòng)作，并生成看似合理的人與物體之間的交互，但這些方法嚴(yán)重依賴于包含配對(duì)的三維場(chǎng)景和動(dòng)作捕捉數(shù)據(jù)的數(shù)據(jù)集。而在各種不同的環(huán)境和交互情況下收集這些數(shù)據(jù)既昂貴又耗時(shí)。本文介紹一種 ZeroHSI，通過(guò)整合視頻生成技術(shù)和神經(jīng)人體技術(shù)，實(shí)現(xiàn)了零樣本的四維人類 - 場(chǎng)景交互合成。

模型介紹

本文提出的 ZeroHSI 方法主要通過(guò)整合視頻生成和神經(jīng)人體渲染技術(shù)，實(shí)現(xiàn)零樣本 4D 人類 - 場(chǎng)景交互合成，具體步驟如下：

• HSI 視頻生成：基于渲染的初始狀態(tài)和文本提示生成人類 - 場(chǎng)景交互（HSI）視頻。利用先進(jìn)的視頻生成模型，從學(xué)習(xí)到的豐富運(yùn)動(dòng)先驗(yàn)中提取人類 - 場(chǎng)景交互動(dòng)作，無(wú)需 3D 人類動(dòng)作或交互數(shù)據(jù)。這一步驟利用了視頻生成模型在大量數(shù)據(jù)上學(xué)習(xí)到的通用運(yùn)動(dòng)知識(shí)，為后續(xù)的交互合成提供基礎(chǔ)。
• 通過(guò)可微神經(jīng)渲染進(jìn)行優(yōu)化：運(yùn)用可微神經(jīng)渲染技術(shù)，通過(guò)最小化渲染視頻與生成的參考視頻之間的差異，來(lái)優(yōu)化每幀的相機(jī)姿態(tài)、人體姿態(tài)參數(shù)以及物體的六維姿態(tài)。具體來(lái)說(shuō)，使用 3D 高斯表示場(chǎng)景、對(duì)象和人體，在此基礎(chǔ)上計(jì)算渲染損失，進(jìn)而調(diào)整相關(guān)參數(shù)。這一過(guò)程使得生成的交互動(dòng)作在視覺(jué)上更加逼真，與參考視頻的一致性更高。
• 在潛在空間中優(yōu)化結(jié)果：在 VPoser 的潛在空間中對(duì)上述優(yōu)化結(jié)果進(jìn)一步處理，以提升生成動(dòng)作的物理合理性。通過(guò)在潛在空間中的調(diào)整，使得生成的人類動(dòng)作更加符合現(xiàn)實(shí)世界中的物理規(guī)律，避免出現(xiàn)不合理的動(dòng)作姿態(tài)或交互效果。
• 數(shù)據(jù)處理與表示：在整個(gè)過(guò)程中，采用合適的數(shù)據(jù)處理和表示方法。如對(duì)場(chǎng)景、對(duì)象和人體使用 3D 高斯表示，這種表示方式有助于在渲染和優(yōu)化過(guò)程中更準(zhǔn)確地模擬和調(diào)整它們的形態(tài)和位置，從而提高交互合成的質(zhì)量和效率。

實(shí)驗(yàn)結(jié)果

• 動(dòng)多樣性豐富：與 TRUMANS、LINGO 和 CHOIS 等基線方法相比，ZeroHSI 可以生成更加多樣的人類 - 場(chǎng)景交互動(dòng)作。它能夠捕捉到不同風(fēng)格、不同方式的交互行為，使得合成的交互場(chǎng)景更加生動(dòng)和真實(shí)。這對(duì)于模擬現(xiàn)實(shí)世界中復(fù)雜多樣的人類行為非常重要，能夠滿足不同應(yīng)用場(chǎng)景對(duì)于豐富交互動(dòng)作的需求。
• 物理合理性較高：通過(guò)在 VPoser 的潛在空間中對(duì)結(jié)果進(jìn)行優(yōu)化，ZeroHSI 生成的動(dòng)作在物理層面上更加合理。動(dòng)作的姿態(tài)、力度和運(yùn)動(dòng)軌跡等方面都更符合現(xiàn)實(shí)世界的物理規(guī)律，避免了出現(xiàn)不自然或違背物理常識(shí)的動(dòng)作。比如在與物體進(jìn)行接觸和操作時(shí)，動(dòng)作的力度和方式能夠合理地反映出物體的質(zhì)量、形狀等屬性。
• 零樣本合成優(yōu)勢(shì)：ZeroHSI 方法最大的優(yōu)勢(shì)在于實(shí)現(xiàn)了零樣本的 4D 人類 - 場(chǎng)景交互合成，無(wú)需依賴包含配對(duì) 3D 場(chǎng)景和動(dòng)作捕捉數(shù)據(jù)的數(shù)據(jù)集。這大大降低了數(shù)據(jù)收集的成本和時(shí)間，同時(shí)也使得該方法能夠在更廣泛的場(chǎng)景和對(duì)象上進(jìn)行應(yīng)用，具有更強(qiáng)的泛化能力。

文轉(zhuǎn)載自公眾號(hào)瓦力算法學(xué)研所，作者：喜歡瓦力的卷卷

原文鏈接：??https://mp.weixin.qq.com/s/y1VtUO1hVvb7oFdobqPl8w??