文章鏈接：https://arxiv.org/pdf/2507.02691 

項目鏈接：https://luoxyhappy.github.io/CanonSwap/ 

亮點直擊

• 提出CanonSwap，一種基于規范空間變換的框架，通過解耦面部運動與面部外觀，實現高質量身份交換和穩定的時序一致性結果。
• 設計PIM模塊，通過局部自適應權重調整，在精準遷移身份至面部區域的同時，保留非目標區域不受影響。
• 提出一套專為視頻換臉設計的細粒度評估指標，涵蓋同步性、眼部動態及時序一致性的詳細分析。
• 實驗結果表明，本方法在視覺質量、時序一致性和身份保留方面均優于現有方法。

總結速覽

解決的問題

• 身份遷移與動態屬性保留的耦合問題：現有視頻換臉方法在實現高質量身份遷移時，難以保持目標臉部的動態屬性（如頭部姿態、表情、唇部同步等），導致結果不一致。 -時序一致性與真實感不足：傳統方法（如GAN或擴散模型）在視頻中易出現閃爍、偽影，且計算開銷大，難以平衡生成質量與動態保留。
• 缺乏細粒度評估標準：現有視頻換臉任務缺少針對動態屬性（如視線、眼部運動）和時序一致性的綜合評估指標。

提出的方案

• CanonSwap框架：

• 運動與外觀解耦：通過將目標視頻映射到統一規范空間（canonical space）分離運動信息，在規范空間內完成身份遷移后，再投影回原視頻空間以保留動態屬性。

• Partial Identity Modulation (PIM)模塊：
• 自適應身份融合：通過空間掩碼限制身份特征僅修改面部區域，避免非面部區域的干擾，提升細節真實感。
• 新評估指標：
• 引入細粒度同步指標（如視線方向、眼部動態）和時序一致性評估，全面衡量換臉效果。

應用的技術

• 規范空間映射：基于形變的方法（warping-based）將視頻幀映射到解耦的規范空間。
• 自適應特征調制：PIM模塊結合空間掩碼和身份特征自適應融合技術。
• 視頻動態恢復：通過逆映射將換臉結果重新嵌入原視頻運動軌跡。

達到的效果

• 高質量身份遷移：在保留目標視頻動態屬性的同時，實現高保真身份轉移，減少偽影。
• 時序一致性：生成的視頻幀間過渡自然，避免閃爍和抖動。
• 評估領先性：實驗表明，該方法在視覺質量、時序一致性和身份保留上顯著優于現有方法。

方法

現有的人臉交換方法直接在目標圖像或視頻的原始空間中進行換臉。由于運動與外觀高度耦合，修改人臉時往往會無意中改變運動信息，從而導致視頻換臉中出現抖動并降低整體真實感。因此，有必要將運動信息與外觀解耦，以確保運動一致性的同時有效遷移身份信息。

本文的方法概念如下圖2所示。給定輸入視頻，我們首先將其從原始空間變形（warp）至規范空間（canonical space）。在規范空間中，人臉僅保留外觀信息，并固定為一致的姿態。隨后，我們在該規范空間內執行換臉，并將結果變形回原始空間。得益于運動與外觀的解耦，CanonSwap可在視頻幀間實現高度一致且穩定的換臉結果。

如下圖3(a)所示，本文的方法包含兩部分：

1. 規范交換空間（Canonical Swap Space）：描述如何構建消除運動信息的規范換臉空間，并如何將換臉結果一致地映射回原始空間。
2. 局部身份調制（Partial Identity Modulation, PIM）：精準高效地將源身份信息轉換為目標外觀特征，實現在規范空間內的換臉。

規范交換空間

直接在原始空間換臉通常會因外觀與運動的耦合導致意外的外觀和運動變化。為解決此問題，我們提出構建一個解耦運動與外觀的規范交換空間，并在該空間內進行換臉。換臉結果隨后被變形回原始空間，從而保留動態屬性并確保一致性。

需要注意的是，經過兩次連續的變形步驟后，外觀體積可能出現偏差，導致最終結果出現偽影。因此，我們提出一個輕量級3D U-Net結構作為優化模塊，在將外觀體積變形回原始空間前對其進行優化。

局部身份調制

基于上述規范空間，通過對規范外觀特征進行調制實現換臉。許多基于GAN的方法使用AdaIN進行換臉并取得良好效果，但AdaIN作用于整個特征圖，靈活性不足且可能導致訓練不穩定。受[24]啟發，進一步提出局部身份調制（PIM）模塊，僅選擇性調制面部區域，同時保留其余部分。通過將調制限制在面部區域，本文的方法緩解了訓練中的對抗效應并增強穩定性，而靈活的調制機制進一步提升了換臉性能的上限（附錄D證明本方法可更快收斂并有效緩解訓練中的對抗現象）。

如前面圖3(b)所示，PIM模塊包含多個塊，每個塊包含兩條并行分支，并通過空間掩碼A自適應結合分支輸出，表達式為：

其中  表示逐元素相乘， 和  是由兩個分支生成的特征。這種融合機制實現了跨不同空間區域的選擇性特征調制。

首先通過一系列 MLP 從 ID 編碼器  聚合身份特征，以獲得身份編碼 。隨后，兩個并行分支按以下方式處理輸入特征：

標準卷積分支：

該掩碼確保身份調制主要影響面部區域（如眼睛、鼻子和嘴巴），同時保留其他無關區域的原始內容。

總體而言，PIM提供了對面部區域的細粒度控制，避免過度修改并保留目標屬性的自然外觀。這種選擇性策略顯著減少了復雜場景（如復雜背景或大角度姿態）下的偽影，產生更真實和魯棒的結果。

訓練與損失函數

本文的變形框架采用的方法，并以端到端方式訓練PIM模塊和優化網絡。在訓練過程中，同時對規范空間和原始空間的交換結果進行監督。規范空間的結果Ics→t通過解碼規范換臉特征獲得，而原始空間的結果Ios→t則是將規范交換特征變形回原始空間后解碼得到。

為確保準確的身份遷移，在規范空間和原始空間都采用了身份損失。該損失利用預訓練的人臉識別模型來衡量交換后的人臉與源身份之間的相似度：

為保持結構一致性，引入了感知損失，用于衡量交換人臉與目標人臉在特征層面的相似性[53]。

其中  表示規范空間中的目標人臉，可通過解碼規范特征  獲得。

為保持姿態和表情準確性，引入運動損失，其公式為：

為提高生成圖像的視覺質量和真實感，采用對抗損失：

其中D表示判別器。

雖然上述損失函數能夠有效實現混合區域的無監督學習（網絡可自動確定人臉交換的適當邊界），但觀察到過度銳利的過渡可能會在這些邊界處引入偽影。因此，引入額外的正則化損失來確保交換區域之間的平滑準確混合：

視頻換臉評估指標

傳統換臉評估通常依賴ID相似度、ID檢索、表情準確度、姿態準確度和FID等指標。雖然這些指標對基于圖像的換臉有效，但無法捕捉視頻換臉特有的挑戰（如時序一致性和唇音同步）。為此，提出一組專為視頻換臉設計的細粒度評估指標。

我們在常規指標基礎上擴展了針對眼部與唇部區域的額外測量：

• 眼部：除常用的視線估計外，引入眼部縱橫比（EAR）以更精準評估眨眼模式；
• 唇部：采用說話頭合成任務中的唇同步誤差-距離（LSE-D）和唇同步誤差-置信度（LSE-C），量化唇部運動與音頻的匹配程度。LSE-D計算唇部關鍵點與真實值的平均偏差，LSE-C衡量唇部同步預測的置信度。

為支持全面評估，本文提出新基準VFS（視頻換臉基準），包含從VFHQ數據集隨機采樣的100對源-目標視頻。每個目標視頻含前100幀及4秒對應音頻，用于綜合評估視覺保真度與唇音同步性。

實驗

實驗設置

數據集

模型訓練采用VGGFace數據集，經人臉檢測后過濾寬度小于130像素的圖像，最終使用93萬張圖像（分辨率調整為512×512）。評估使用FaceForensics++（FF++）數據集和VFS基準。

對比方法

與以下方法對比：

• GAN基方法：SimSwap、FSGAN、E4S；
• 擴散基方法：DiffSwap、REFace、Face Adapter。

定量評估

整體指標

本文使用兩個不同的測試集評估本文的方法：FF++數據集和我們的VFS基準測試。在FF++上，遵循常規的人臉交換評估協議，采用五個既定指標：ID檢索、ID相似度、姿態準確度、表情準確度和Fr ?echet Inception距離（FID）。ID檢索和相似度使用人臉識別模型通過余弦相似度計算。姿態準確度通過估計姿態與真實姿態的歐氏距離衡量，而表情準確度則通過對應表情嵌入的L2距離計算。

對于我們的視頻基準測試，采用Fr ?echet視頻距離（FVD）代替FID，以更好地評估時間一致性。通過比較源視頻和交換視頻之間的光流場實現運動抖動分析（時間一致性，簡稱TC），以量化不自然的面部運動。還采用了前面中的細粒度指標：從面部標志點計算的眼球注視和EAR，以及使用SyncNet測量的LSE-D和LSE-C。

定性評估

評估結果

VFS基準測試和FF++數據集的評估結果如下表1和表2所示。定量結果表明，本文的方法在多個指標上 consistently 優于現有的基于GAN的方法和基于擴散的方法。在身份保留方面，本文的方法在兩個數據集上均取得了最高的ID相似度得分和ID檢索準確率，相較于兩類方法均有顯著提升。此外，本文的方法在姿態指標上誤差最低，在表情指標上表現 competitive，表明與現有方法相比，本文的方法與目標視頻運動的對齊最為精確。

在嘴部同步指標上也有顯著改進，本文的方法在LSE-D和LSE-C上分別達到7.938和6.053，超越了基于GAN和基于擴散的方法。這種卓越的唇部同步能力也體現在質量指標上，本文方法取得了最佳的FID和FVD分數，顯著優于其他方法，展示了在保持時間一致性的同時更好的合成質量。這些結果表明，解耦外觀和運動對于視頻人臉交換至關重要。

為進一步評估CanonSwap的有效性，在FF++和VFS基準測試上進行了定性比較，如下圖4和圖5所示。結果表明，本文的方法不僅實現了準確的身份轉移，還保持了精確的運動對齊。

消融實驗

在VFS基準測試上進行了消融實驗，以評估管道中每個模塊的影響（見下表3和圖6）。具體而言，分別移除了三個組件：(1) 無w（w/o w）省略了變形步驟，直接在原始空間進行人臉交換；(2) 無m（w/o m）移除了軟空間掩碼，導致整個特征圖的全局調制；(3) 無r（w/o r）排除了在變形回之前增強規范空間特征的細化模塊。如表3所示，移除任一組件均會導致多個指標的性能下降。圖6進一步定性展示了這些問題：w/o w無法準確對齊姿態和表情，w/o m引入了更多不希望的紋理，而w/o r則導致模糊或不一致的身份細節。這些結果表明，所有三個模塊對于實現視頻人臉交換中的準確身份轉移、精確姿態對齊和無偽影結果至關重要。

人臉交換與動畫

在CanonSwap中，輸入圖像被解耦為兩個部分：外觀和運動（即姿態和表情）。因此，除了改變外觀外，CanonSwap還支持修改表情和姿態。具體而言，在變形回的過程中，目標的表情可以被替換為源的表情，從而實現身份和表情的同時轉移。這一能力使得人臉交換和面部動畫可以在同一框架內實現。如下圖7所示，CanonSwap不僅能進行人臉交換，還能對目標圖像進行動畫處理，使其模仿源的表情和動作，從而拓寬了其潛在應用場景。

結論

本文提出了一種新穎的視頻人臉交換框架，通過在規范空間解耦姿態變化與身份轉移，解決了時間不穩定性問題。本文的部分身份調制模塊實現了精確的交換控制，同時保持了時間一致性。引入了細粒度的同步指標進行評估。大量實驗表明，本文的方法在穩定且逼真的視頻人臉交換方面取得了顯著進展，能夠適應各種姿態和表情變化。

本文轉自AI生成未來 ，作者：AI生成未來

原文鏈接:??https://mp.weixin.qq.com/s/n7UUQU-fl-KG_AUOxbuEEA??