在數(shù)字化內(nèi)容創(chuàng)作領(lǐng)域，3D動(dòng)畫(huà)、游戲開(kāi)發(fā)和虛擬現(xiàn)實(shí)等技術(shù)正飛速發(fā)展。然而，傳統(tǒng)的人類動(dòng)作生成方法面臨著效率低下、成本高昂以及難以滿足多樣化需求的挑戰(zhàn)。為了突破這些限制，北京航空航天大學(xué)、香港中文大學(xué)（深圳）、悉尼科技大學(xué)和中山大學(xué)等高校聯(lián)合推出了 Sitcom-Crafter —— 一個(gè)基于劇情驅(qū)動(dòng)的3D人類動(dòng)作生成系統(tǒng)。

一、項(xiàng)目概述

Sitcom-Crafter 由北京航空航天大學(xué)、香港中文大學(xué)（深圳）、悉尼科技大學(xué)和中山大學(xué)等多所知名高校的科研團(tuán)隊(duì)聯(lián)合開(kāi)發(fā)。這些團(tuán)隊(duì)在計(jì)算機(jī)圖形學(xué)、人工智能和動(dòng)畫(huà)技術(shù)等領(lǐng)域擁有豐富的研究經(jīng)驗(yàn)和深厚的技術(shù)積累，為項(xiàng)目的成功實(shí)施提供了堅(jiān)實(shí)的保障。

Sitcom-Crafter 的主要目標(biāo)是開(kāi)發(fā)一個(gè)綜合性的3D人類動(dòng)作生成系統(tǒng)，能夠基于用戶提供的長(zhǎng)劇情指導(dǎo)，生成多樣化且物理真實(shí)的動(dòng)作。該系統(tǒng)不僅支持人類行走、場(chǎng)景交互和人與人之間的交互，還通過(guò)增強(qiáng)模塊優(yōu)化動(dòng)作的流暢性、自然性和同步性。

二、主要功能

（一）核心功能

1.人類行走：Sitcom-Crafter 支持角色在3D場(chǎng)景中的自然行走，能夠根據(jù)場(chǎng)景和劇情需求動(dòng)態(tài)規(guī)劃路徑，確保角色的移動(dòng)符合物理邏輯和劇情要求。

2.人類與場(chǎng)景交互：角色可以與環(huán)境物體進(jìn)行符合物理邏輯的交互，例如開(kāi)門、拾取物品等。這一功能通過(guò)結(jié)合場(chǎng)景信息和深度學(xué)習(xí)模型實(shí)現(xiàn)，確保動(dòng)作的真實(shí)性和自然性。

3.人類之間交互：系統(tǒng)能夠生成角色之間的協(xié)調(diào)動(dòng)作，減少碰撞并優(yōu)化動(dòng)作同步性。這一功能通過(guò)創(chuàng)新的3D場(chǎng)景感知技術(shù)實(shí)現(xiàn)，顯著提升了多人交互的流暢性。

（二）增強(qiáng)功能

1. 劇情解析：使用大型語(yǔ)言模型（如 Gemini 1.5）解析劇本，將長(zhǎng)劇情文本轉(zhuǎn)化為具體的角色動(dòng)作指令。這一功能使得系統(tǒng)能夠理解復(fù)雜的劇情邏輯，并將其分解為可操作的命令。

2. 運(yùn)動(dòng)同步：確保不同模塊生成的運(yùn)動(dòng)在時(shí)間上保持一致，避免動(dòng)作銜接的生硬感。通過(guò)插值技術(shù)（如 Slerp），系統(tǒng)能夠?qū)崿F(xiàn)平滑的動(dòng)作過(guò)渡。

3. 手部姿態(tài)增強(qiáng)：通過(guò)檢索數(shù)據(jù)庫(kù)中的手部姿態(tài)，增強(qiáng)角色動(dòng)作的自然性和表現(xiàn)力。這一功能利用 CLIP 模型檢索與文本描述最相似的手部姿態(tài)。

4. 碰撞修正:自動(dòng)檢測(cè)并修正人物之間的碰撞，提升動(dòng)作的流暢性和物理真實(shí)性。系統(tǒng)會(huì)調(diào)整運(yùn)動(dòng)速度或路徑，避免不必要的碰撞。

5. 3D重定向:將生成的運(yùn)動(dòng)映射到現(xiàn)有的3D數(shù)字人物模型，確保最終視覺(jué)效果的高質(zhì)量。這一功能支持將生成的動(dòng)作應(yīng)用于不同的角色模型。

三、技術(shù)原理

（一）運(yùn)動(dòng)生成模塊

1. 人類行走生成:基于深度學(xué)習(xí)模型（如 GAMMA）生成自然的行走動(dòng)作。該模塊通過(guò)學(xué)習(xí)大量行走數(shù)據(jù)，能夠生成符合物理邏輯的行走路徑。

2. 人與場(chǎng)景交互生成:結(jié)合DIMOS 方法和場(chǎng)景信息，生成角色與環(huán)境物體的交互動(dòng)作。通過(guò)自監(jiān)督學(xué)習(xí)，該模塊能夠自動(dòng)適應(yīng)不同的場(chǎng)景和物體。

3. 人與人交互生成:使用自監(jiān)督場(chǎng)景感知方法，通過(guò) SDF（簽名距離函數(shù)）點(diǎn)模擬周圍環(huán)境，避免碰撞并生成多人交互動(dòng)作。

（二）場(chǎng)景感知技術(shù)

1. SDF點(diǎn)合成:在訓(xùn)練過(guò)程中，系統(tǒng)自動(dòng)生成環(huán)境的3D體素點(diǎn)信息，自動(dòng)標(biāo)注可行走區(qū)域和障礙物。這一策略無(wú)需額外數(shù)據(jù)采集，顯著降低了成本。

2. 碰撞檢測(cè)與修正:通過(guò) SDF 點(diǎn)檢測(cè)角色與場(chǎng)景或彼此之間的碰撞，并調(diào)整運(yùn)動(dòng)軌跡或速度，避免碰撞。

（三）劇情理解與命令生成

使用大型語(yǔ)言模型解析劇情文本，將其轉(zhuǎn)化為具體的角色動(dòng)作指令。這一模塊能夠理解復(fù)雜的劇情邏輯，并將其分解為可操作的命令。

（四）增強(qiáng)模塊

1. 運(yùn)動(dòng)同步:通過(guò)插值技術(shù)（如 Slerp）確保不同模塊生成的運(yùn)動(dòng)平滑過(guò)渡。

2. 手部姿態(tài)檢索: 利用 CLIP 模型檢索與文本描述最相似的手部姿態(tài)，增強(qiáng)動(dòng)作的自然性。

3. 碰撞修正:調(diào)整運(yùn)動(dòng)速度或路徑，避免人物之間的碰撞。

4. 3D重定向：將生成的運(yùn)動(dòng)映射到高質(zhì)量的3D數(shù)字人物模型，提升視覺(jué)效果。

四、應(yīng)用場(chǎng)景

（一）動(dòng)畫(huà)制作

快速生成角色運(yùn)動(dòng)：減少手動(dòng)動(dòng)畫(huà)工作量，支持多樣化動(dòng)作和劇情驅(qū)動(dòng)的動(dòng)畫(huà)設(shè)計(jì)。

提升制作效率：通過(guò)AI自動(dòng)生成復(fù)雜動(dòng)作，縮短制作周期。

（二）游戲開(kāi)發(fā)

自然行為設(shè)計(jì)：為NPC設(shè)計(jì)自然行為和交互動(dòng)作，提升游戲沉浸感。

動(dòng)態(tài)劇情生成：支持實(shí)時(shí)動(dòng)作反饋，增強(qiáng)玩家的互動(dòng)體驗(yàn)。

（三）虛擬現(xiàn)實(shí)（VR）和增強(qiáng)現(xiàn)實(shí)（AR）

自然交互：生成虛擬角色的自然交互和場(chǎng)景模擬，提升用戶體驗(yàn)。

增強(qiáng)沉浸感：通過(guò)真實(shí)的動(dòng)作生成，增強(qiáng)虛擬環(huán)境的沉浸感。

（四）影視制作

創(chuàng)意驗(yàn)證：在早期創(chuàng)意階段快速驗(yàn)證角色動(dòng)作，節(jié)省制作成本。

特效場(chǎng)景設(shè)計(jì)：生成復(fù)雜動(dòng)作和交互，提升特效場(chǎng)景的設(shè)計(jì)效率。

動(dòng)作捕捉替代：減少對(duì)傳統(tǒng)動(dòng)作捕捉設(shè)備的依賴，降低制作成本。

（五）教育和培訓(xùn)

模擬訓(xùn)練：生成模擬訓(xùn)練中的角色行為，幫助學(xué)員掌握復(fù)雜場(chǎng)景的操作。

虛擬教學(xué)助手：創(chuàng)建虛擬教學(xué)助手，支持安全演示和復(fù)雜場(chǎng)景教學(xué)。

（六）廣告與營(yíng)銷

動(dòng)態(tài)廣告內(nèi)容：生成符合廣告劇情的3D角色動(dòng)作，提升廣告的吸引力和表現(xiàn)力。

虛擬產(chǎn)品演示：通過(guò)虛擬角色展示產(chǎn)品使用過(guò)程，增強(qiáng)消費(fèi)者對(duì)產(chǎn)品的理解。

五、結(jié)語(yǔ)

Sitcom-Crafter 作為一款創(chuàng)新的3D人類動(dòng)作生成系統(tǒng)，通過(guò)劇情驅(qū)動(dòng)和智能化技術(shù)，顯著提升了創(chuàng)作效率和動(dòng)作質(zhì)量。它不僅支持多樣化的人類動(dòng)作生成，還通過(guò)增強(qiáng)模塊優(yōu)化動(dòng)作的自然性和流暢性。無(wú)論是動(dòng)畫(huà)制作、游戲開(kāi)發(fā)還是虛擬現(xiàn)實(shí)領(lǐng)域，Sitcom-Crafter 都展現(xiàn)出廣闊的應(yīng)用前景。

六、相關(guān)資源

項(xiàng)目官網(wǎng)：??https://windvchen.github.io/Sitcom-Crafter/??

GitHub倉(cāng)庫(kù)：??https://github.com/WindVChen/Sitcom-Crafter??

技術(shù)論文：???https://arxiv.org/abs/2410.10790??

本文轉(zhuǎn)載自??小兵的AI視界??，作者：AGI小兵