盜夢空間級AI試衣！中山等發布OMFA：一鍵“脫衣”換裝，姿勢任意擺，告別展平圖！ 精華
文章鏈接：https://arxiv.org/pdf/2508.04559
項目鏈接：https://onemodelforall.github.io/
亮點直擊
- OMFA，首個在單一架構中統一執行虛擬試穿（try-on）和試脫（try-off）的框架，支持跨個體和雙向的服裝遷移。
- 提出了一種新穎的部分擴散機制，選擇性地對服裝相關區域施加噪聲，實現高效、局部化的建模，無需依賴分割掩碼或模板服裝。
- 結合了基于SMPL-X的姿態條件，支持從單張肖像圖像生成任意姿態和多視角的試穿效果，提升了試穿合成的真實性和可控性。
與試用方法的比較
總結速覽
解決的問題
- 依賴展示服裝和分割掩碼：現有方法需要干凈的展示服裝（exhibition garments）和分割掩碼，限制了實際應用。
- 姿態靈活性不足：生成的試穿結果通常受限于參考圖像的姿態，無法支持用戶自定義姿態。
- 試穿與試脫任務分離：現有方法將試穿（try-on）和試脫（try-off）視為獨立任務，缺乏統一框架。
- 3D數據稀缺：基于3D的方法受限于高質量3D數據的不足，難以生成高分辨率、逼真的結果。
提出的方案
- 統一框架：提出OMFA，一個支持試穿和試脫的擴散模型框架，無需展示服裝或分割掩碼。
- 部分擴散策略（Partial Diffusion）：選擇性對輸入的不同部分（如服裝、人物圖像、面部）施加噪聲和去噪，實現動態子任務控制。 -雙向建模：在單一架構中建模服裝-人物雙向變換，提高效率。
- 姿態自由化：結合SMPL-X 姿態條件，支持多視角和任意姿態試穿，僅需單張輸入圖像。
應用的技術
- 擴散模型（Diffusion Model）：基于擴散框架實現高質量圖像生成。
- 部分擴散機制：對輸入的不同組件分別處理，提升可控性。
- SMPL-X 姿態建模：利用參數化人體模型支持任意姿態合成。
- 無掩碼設計：無需分割掩碼，僅需單張肖像和目標姿態即可生成。
達到的效果
- 更實用的試穿體驗：用戶可直接將一張圖片中的服裝轉移到另一人身上，并支持自由姿態調整。
- 高質量生成：在試穿和試脫任務上均達到SOTA 效果，減少邊界偽影和變形問題。
- 計算高效：部分擴散策略減少冗余計算，提升生成效率。
- 廣泛適用性：適用于電商、社交媒體等真實場景，支持單圖輸入、多姿態輸出。
方法
預備知識：隱空間擴散模型
部分擴散
試穿與試脫的統一模型
如下圖2所示，本文提出的OMFA框架同時支持試穿流程和試脫流程，能夠從源人物移除服裝并轉移到目標人物。為了實現高保真度的紋理保留，先前的研究引入了額外的ReferenceNet來提取服裝特征。
然后，在空間維度上沿寬度分割輸出隱空間表示，并使用VAE解碼器D對分割后的隱空間表示進行變換，以獲得相應的著裝人物或服裝。
基于SMPL-X的結構條件化
基于SMPL-X的結構條件化（續）
實驗
實驗設置
數據集。本文在兩個公開可用的時尚數據集上訓練和評估本文的模型：VITON-HD和DeepFashion-MultiModal數據集。VITON-HD包含13,679張正面半身模特圖像及對應上裝圖像，其中11,647張用于訓練，2,032張用于測試。DeepFashion-MultiModal數據集的每個樣本不僅包含人物和服裝圖像，還包含兩幅不同姿態的目標圖像。我們選擇約40,000個樣本用于訓練，1,100個樣本用于測試。為準備輸入數據，我們采用SCHP獲取不同身體區域的語義分割圖。
對比方法。針對試穿任務，與七種先進方法比較：LADIVTON、StableGarment、StableVTON、OOTDiffusion、IDM-VTON、CatVTON和MV-VTON。在模板服裝不可得的現實假設下，通過以下方式適配這些方法的輸入流程：(1)使用分割后的服裝圖像，或(2)直接利用著裝人物圖像。針對多姿態試穿任務，與基線方法IDM-VTON比較。針對試脫任務，與兩種最新方法對比：TryoffDiff和TryoffAnyone。實驗采用官方倉庫提供的預訓練檢查點進行比較。
評估指標。對于配對設置，采用四種廣泛使用的指標評估合成圖像與真實圖像的相似性：SSIM、LPIPS、FID和KID。對于非配對設置，除計算FID和KID外，還計算分割服裝區域與參考服裝間的CLIP-I和DINO相似度以評估服裝級語義一致性。為與基于掩碼的方法公平比較，本方法采用不可知圖保持未編輯區域不變（類似CatVTON）。此外，給定人物和服裝圖像，使用GPT-4o-mini對試穿結果進行0-10分的綜合評分。針對服裝生成任務，額外報告DISTS——一種衡量生成服裝圖像與真實圖像間結構和紋理保真度的感知相似性指標。
虛擬試穿
人物到人物虛擬試穿。下表1展示了在VITON-HD數據集上的虛擬試穿結果。在配對設置中，本文的方法取得了可比的整體指標。雖然某些基線方法報告了略高的SSIM分數，但這可以歸因于輸入變形服裝已與目標良好對齊，使模型更容易保持真實的服裝外觀。得益于重建服裝的能力，本文的方法在更具挑戰性的非配對試穿設置中表現顯著更好，特別是在CLIP-I和DINO相似性方面。下圖3展示了本文方法與多種先進方法在VITON-HD數據集上的定性比較，突出了其在人物到人物試穿場景中的明顯優勢?，F有方法在服裝遮擋、變形或姿態錯位情況下缺乏有效泛化能力，常導致紋理丟失、偽影或輪廓失真。相比之下，無掩碼且統一的試脫-試穿框架能夠生成高保真結果。
多姿態虛擬試穿。進一步探索多姿態試穿任務。下表2顯示OMFA在所有指標上均超越基線方法，證實了其對姿態和視角變化的靈活性。如下圖5所示，IDM-VTON生成圖像的姿態主要由未掩碼區域決定，不一致的姿態輸入會導致錯誤的服裝變形。相比之下，本文的無掩碼方法在生成過程中利用3D人體表示，實現了更靈活的姿勢遷移和尺寸感知的服裝適配。
虛擬試脫
下表3展示了虛擬試脫的定量比較。本文的方法在所有五個指標上均優于先進方法，在細節保留、結構與紋理一致性以及語義對齊方面顯示出顯著優勢。下圖4展示了本文方法與其他試脫方法在VITON-HD數據集上的服裝重建結果對比。具體而言，TryOffDiff往往僅捕獲服裝的粗粒度結構和顏色，無法恢復圖案的細粒度細節。雖然TryOffAnyone能夠處理復雜不規則圖案，但仍存在文本元素模糊或缺失的問題。相比之下，本文的方法在細節保留方面展現出明顯且一致的優勢，特別是在文本輪廓和圖案邊界的清晰度上。
消融實驗
本文通過消融實驗驗證所提出的部分擴散機制和統一生成策略在人物到人物試穿場景中對試穿/試脫任務的有效性。在基線設置中，本文按照IDM-VTON訓練并行UNet，該方法使用ReferenceNet編碼服裝圖像并將服裝特征注入去噪UNet。如下圖6所示，當使用變形服裝作為輸入時，該方法常導致紋理丟失和服裝結構不準確。隨后我們用單個UNet替代ReferenceNet，并采用提出的部分擴散機制處理空間聯合輸入，有效提升了性能并降低了計算成本。最終，使用單一UNet統一試穿和試脫任務(標記為"One Model For All")，實現了更清晰的紋理恢復和更完整的服裝輪廓。下表4的定量結果進一步驗證了所提方法的有效性。
結論
OMFA——一個基于擴散的虛擬試穿/試脫統一框架，克服了現有方法對服裝模板、分割掩碼和固定姿態的依賴等關鍵限制。OMFA引入了新穎的部分擴散機制，通過細粒度子任務控制實現高效的服裝-人物雙向轉換。該框架完全無需掩碼，僅需單張肖像和目標姿態，具有實際應用價值。結合基于SMPL-X的姿態條件，OMFA能夠從單張圖像實現靈活的多視角試穿。大量實驗證實了其在兩項任務中的有效性和泛化能力。
本文轉自AI生成未來 ，作者：AI生成未來
