革新在線購物體驗：CatV2TON引領虛擬試穿技術新紀元
本文經AIGC Studio公眾號授權轉載，轉載請聯系出處。
在這個數字化飛速發展的時代，圖像與視頻合成技術正以前所未有的速度重塑著我們的生活，尤其在在線零售領域，一場關于購物體驗的革命正在悄然上演。想象一下，無需親自試穿，僅憑一張照片或一段視頻，就能精準預覽任何心儀服裝的上身效果——這聽起來仿佛科幻電影中的場景，中山大學和新加坡國立大學提出的基于視覺的虛擬試穿（CatV2TON）技術正將其變為現實。
相關鏈接
- 論文：http://arxiv.org/abs/2501.11325v1
- 主頁：https://github.com/Zheng-Chong/CatV2TON
論文介紹
虛擬試穿 (VTON) 技術因其通過實現圖像和視頻的逼真服裝可視化來改變在線零售的潛力而備受關注。然而，大多數現有方法都難以在圖像和視頻試穿任務中獲得高質量的結果，尤其是在長視頻場景中。
CatV2TON是一種簡單有效的基于視覺的虛擬試穿 (V2TON) 方法，它使用單個擴散變壓器模型支持圖像和視頻試穿任務。通過在時間上連接服裝和人員輸入并在混合圖像和視頻數據集上進行訓練，CatV2TON在靜態和動態設置中實現了強大的試穿性能。
為了高效地生成長視頻，論文還提出了一種基于重疊剪輯的推理策略，該策略使用順序幀引導和自適應剪輯規范化 (AdaCN) 來保持時間一致性并減少資源需求。還介紹了 ViViD-S，這是一個經過精煉的視頻試穿數據集，通過過濾背面幀并應用 3D 蒙版平滑來增強時間一致性。綜合實驗表明，CatV2TON 在圖像和視頻試穿任務中均優于現有方法，為跨不同場景的逼真虛擬試穿提供了多功能且可靠的解決方案。
方法
CatV2TON 架構概述。 CatV2TON 使用 DiT 作為主干，第一個 DiT 塊被復制為Pose Encoder。人和服裝條件在時間上連接為試穿條件。整個可訓練部分僅由自注意力層和 Pose Encoder 組成，占總參數的不到 1/5。
基于重疊片段的推理策略說明。（a）一段長視頻被分成 n 個重疊片段，每個片段由重復的幀組成。每個片段的最后 k 幀用作生成下一個片段的提示幀。（b）自適應片段歸一化 (AdaCN) 用于根據提示幀特征和去噪提示幀的平均值和標準差對整個片段進行歸一化，確保生成的視頻中各個片段之間的平滑連續性。
結果
在 ViViD 數據集上對連衣裙進行定性比較。我們使用 Stable 和 OOTD 作為 StableVITON 和 OOTDiffusion 的簡稱。
在 ViViD 數據集上進行定性比較。我們使用 Stable 和 OOTD 作為 StableVITON 和 OOTDiffusion 的縮寫。
對 ViViD 數據集進行定性比較。我們使用 Stable 和 OOTD 作為 StableVITON 和 OOTDiffusion 的縮寫。
關于 AdaCN 的消融視覺結果。當不使用 AdaCN 進行推理時，試穿結果中的服裝部分將出現色差問題，并且通常會隨著視頻長度的增加而加劇。
結論
CatV2TON是一個簡單而高效的擴散變換器框架，適用于圖像和視頻虛擬試穿任務。通過時間連接服裝和人員輸入并使用混合圖像視頻數據集進行訓練，模型僅使用 20% 的主干參數作為可訓練組件即可獲得高質量的結果。為了支持長時間、時間一致的試穿視頻生成，引入了一種基于重疊剪輯的推理策略和自適應剪輯規范化 (AdaCN)，在保持時間連續性的同時減少了資源需求。
此外論文提出了一個精選的視頻試穿數據集 ViViD-S，它是通過過濾后視幀并應用 3D 蒙版平滑來增強蒙版的時間一致性而創建的。大量實驗表明，CatV2TON 在定量和定性評估方面均優于基線方法，標志著基于視覺的虛擬試穿研究統一模型向前邁出了重要一步。
