這究竟是怎么回事？

原來啊，阿里又整出新活兒——

MotionShop，能將視頻中的人物角色替換成3D形象，同時又不改變其他場景和人物。

比如，打工仔小豬打太極。

看到這有人已經(jīng)迫不及待了。目前已在ModelScope社區(qū)開放試玩。

還有人建議說在HuggingFace也安排一下，不然不懂中文的人怎么辦啊~

不過確實承認，最近阿里的花活好多。

可免費試玩

目前MotionShop可以免費試玩，只需三步即可完成：

上傳視頻——確定目標對象——選擇要替換的虛擬對象。

不過實測的時候發(fā)現(xiàn)，需要注意幾點。

首先上傳這個視頻，不能超過15秒，最好保證人物完整，而且也不能是剪輯而成。

換句話說，需要一鏡到底，切換鏡頭就不行。

隨后選擇替換人物時，它會自動選擇一個對象，然后看是否符合你的目標對象。

目前可替換的虛擬形象只有四個。

最后就是比較漫長的排隊等待時間……試用的人太多了吧。

如何實現(xiàn)？

來自阿里的研究團隊提出了用3D人物替換視頻中角色的框架。

整個框架由兩部分組成：

1、用于提取修復背景視頻序列的視頻處理管線；

2、用于生成3D人物視頻的序列的姿態(tài)估計和渲染管線。

通過并行兩條管線并使用高性能的光線追蹤渲染器TIDE，整個過程能在

具體分為七個步驟。

第一步，角色檢測。使用基于Transformer融合文本信息與現(xiàn)有封閉集檢測器，實現(xiàn)零樣本對象檢測。通過優(yōu)勢選擇方法確定最終目標區(qū)域。

第二步，分割與追蹤。成功檢測到目標后，通過視頻對象分割跟蹤方法來像素級跟蹤目標區(qū)域，這一方法是基于SAM模型的細化升級。

第三步，修補。視頻剩下區(qū)域進行修補繪制。包括采用了遞歸流完成法來恢復損壞的流場，在圖像域和特征域都采用了雙域傳播法來增強全局和局部的時間一致性。

第四步，姿態(tài)估計。采用姿態(tài)估計方法 CVFFS 來估計穩(wěn)定的人體姿態(tài)。使用 SMPL 人體模型來表示三維人體。

第五步，3D人物生成。將估算出的形狀和姿勢重新映射到選定的三維模型上。

第六步，為了更自然真實的視覺效果，做進一步光線處理和渲染，讓3D模型與原視頻更融入。比如使用TIDE引擎來渲染新的 3D 模型。它與精確的材質(zhì)系統(tǒng)相結(jié)合，并輔以運動模糊、時間抗鋸齒和時間去噪等算法。

最后，將渲染圖像與原始視頻合成，生成最終視頻。

感興趣的朋友可戳下方鏈接：

https://modelscope.cn/studios/Damo_XR_Lab/motionshop/summary