ConsistEdit來了：無需訓練，實現高精度、高一致性的視覺編輯新范式

2025-11-19 11:20:20

ConsistEdit 的高一致性、細粒度控制特性，可廣泛應用于各類視覺創作場景，既覆蓋靜態圖片到動態視頻的全場景編輯，又通過平滑的一致性調節為交互式創作提供了更多可能性。

本文由香港科技大學、香港科技大學（廣州）、清華大學、粵港澳大灣區數字經濟研究院作者共同完成，第一作者為香港科技大學博士生殷子欣，指導老師包括：香港科技大學教授 & 香港科技大學（廣州）創校校長倪明選院士，香港科技大學校董會主席 & 清華大學高等研究院雙聘教授 & 微軟原全球執行副總裁沈向洋院士。

論文標題：ConsistEdit: Highly Consistent and Precise Training-free Visual Editing
中稿會議：ACM SIGGRAPH Asia 2025
代碼倉庫：https://github.com/zxYin/ConsistEdit_Code
論文鏈接：https://arxiv.org/abs/2510.17803
項目主頁：https://zxyin.github.io/ConsistEdit

研究背景：無訓練視覺編輯的兩大核心痛點

無需額外訓練即可適配預訓練生成模型的編輯方法，憑借靈活、高效的特性，已成為視覺生成領域的研究熱點。這類方法通過操控 Attention 機制（如 Prompt-to-Prompt、MasaCtrl）實現文本引導編輯，但當前技術存在兩大核心痛點，嚴重限制其在復雜場景的應用：

1. 編輯強度與源圖一致性難以兼顧：現有方法若想保持與源圖的一致性，往往需調低編輯強度，最終導致編輯目標無法實現；若提升編輯強度以完成修改，又容易破壞源圖的特征結構（如改衣服顏色時丟失褶皺細節），且非編輯區域還會出現本應保持不變的意外變化。在多輪編輯或視頻編輯場景中，這類問題會進一步累積放大，最終導致結果失真，無法滿足實際需求。

2. 編輯強度缺乏細粒度控制能力：多數方法對編輯強度的控制局限于全局一致性（如同時約束結構與紋理），無法實現 “保結構改紋理” 或 “保紋理改結構” 的精準調節。這不僅限制了編輯的靈活性，還會導致通過調節強度生成的系列結果缺乏平滑過渡，難以滿足用戶對編輯精度的多樣化需求。

圖 1：現有編輯方法的痛點與 ConsistEdit 的優勢對比

與此同時，生成模型架構正從 U-Net 向 Multi-Modal Diffusion Transformer (MM-DiT) 升級。MM-DiT 打破了 U-Net “文本 Cross-Attention + 視覺 Self-Attention” 的模態分離設計，通過統一的 Self-Attention 同時處理文本與視覺信息，為解決上述困境提供了新可能。但此前僅有 DiTCtrl 探索 MM-DiT 的 Attention 控制，且聚焦長視頻生成，未針對編輯任務優化，導致無訓練編輯技術未能充分挖掘 MM-DiT 的架構優勢。

核心突破：針對 MM-DiT 的三個關鍵發現

為研究清楚 MM-DiT 架構中 Attention 計算的特點，團隊通過實驗分析，提煉出三個核心發現：

1. 僅編輯 “視覺 Token” 是關鍵：僅編輯 Attention 中的 “視覺 Token” 即可保證編輯效果穩定，若修改 “文本 Token”，會導致結果失真，如下圖所示：

2. MM-DiT 所有層均含結構信息：U-Net 的結構與紋理信息主要集中在深層 Decoder 階段，而 MM-DiT 每一層的 Q/K/V Token 都保留完整的結構與紋理信息，如下圖所示。這意味著編輯可以覆蓋所有 Attention 層，而非僅作用于最后幾層，此前 DiTCtrl 僅改后半層的策略，會導致無法完整保持結構一致性。