伊利諾伊大學香檳分校提出的 InstantEdit 是一個只需幾步即可完成的圖像編輯框架，能夠高效精準地進行文本引導的圖像編輯。該方法基于分段修正流模型，只需幾步即可實現精準編輯。主要功能包括：

• 免訓練：無需微調。開箱即用，可立即編輯。
• 精確控制：與同類的幾步編輯方法相比，在保持圖像一致性的同時實現了更好的可編輯性。
• 多功能應用：支持各種編輯任務，包括對象操作、樣式轉換和屬性修改

下圖為InstantEdit的示例，僅需 4 個步驟即可完成各種編輯操作。

相關鏈接

• 論文：https://arxiv.org/pdf/2508.06033
• 主頁：https://supercomputing-system-ai-lab.github.io/projects/instantedit
• 代碼：https://github.com/Supercomputing-System-AI-Lab/InstantEdit

論文介紹

論文基于 RectifiedFlow 框架提出了一種名為 InstantEdit 的快速文本引導圖像編輯方法。該方法由幾步編輯流程構成，在嚴格遵循文本指令的同時，保留關鍵內容。利用 RectifiedFlow 的直線采樣軌跡，引入了一種名為 PerRFI 的專用反演策略。為了保持 RectifiedFlow 模型結果的一致性和可編輯性，進一步提出了一種名為“反轉潛在注入”的新型再生方法，該方法有效地重用了反演過程中獲得的潛在信息，從而實現了更連貫、更細致的再生。

此外還提出了一種“解纏提示引導”技術，以平衡可編輯性和細節保留，并集成了一個基于 Canny 條件的控制網絡 (ControlNet)，用于整合結構線索并抑制偽影。在 PIE 圖像編輯數據集上的評估表明，InstantEdit 不僅速度快，而且與最先進的幾步編輯方法相比，在定性和定量方面都取得了更好的結果。

方法概述

左圖：反轉和再生過程示意圖。右圖：單個再生步驟示意圖。首先計算 PerFlow 模型中源分支和目標分支輸出之間的差異，然后將該差異合成到存儲的中間潛在向量中，以生成此步驟的最終輸出。

• 反演潛伏期注入 (ILI)。進行反演時，將存儲 PerRFI 中所有中間的反演潛伏期，并重復使用它們來校準每個再生步驟。直覺上，較早時間步長的反演潛伏期（接近清晰圖像）在反演過程中累積的誤差較少。每次計算一個去噪步驟時，我們都會錨定回存儲的潛伏期，以防止誤差累積。作者進一步發現，與DDPM-噪聲反演 中的流程等對應方法相比，ILI 提供了更好的可編輯性。
• 解纏提示制導 (DPG)。由TurboEdit 提出，我們將采樣公式解纏為兩個項：交叉提示和交叉軌跡，其中第一個交叉提示項捕捉新提示和原始提示下生成軌跡預測之間的差異。第二個項是同一提示下新軌跡和原始軌跡預測之間的差異。我們觀察到，縮放交叉提示項會導致生成圖像發生不良變化，這是由于原始提示和目標提示的制導信號之間的干擾。因此，我們提出了 DPG，它縮放與源信號正交的目標信號分量以解纏這兩個信號。

整流流模型反演

論文中認為 RectifiedFlow 模型的線性化采樣軌跡可以用來減少反演誤差。因此作者使用一個簡單的反演過程一階近似 PerRFI，它適用RectifiedFlow 主干模型。

與傳統 DDIM 反演相比，RectifiedFlow 模型的線性化采樣軌跡的直觀可視化。

輔助發現：用于圖像編輯的 ControlNet

作者還發現 ControlNet 在圖像編輯的反演-再生流程中非常有用。因此直接使用預訓練的 Canny 調節 ControlNet 作為反演和再生過程中的即插即用組件。插入邊緣信息后，發現圖像反演的精度有所提高，從而減少了結構信息的丟失。該方法的另一個優點是，用戶可以通過調整 ControlNet 調節尺度來輕松控制結構剛度，而大多數現有的 ControlNet 流程都支持該尺度。

應用ControlNet的效果

實驗結果

結論

InstantEdit是一種快速準確的文本引導圖像編輯方法。該方法利用 RectifiedFlow 模型來提高少步擴散過程中的反演精度，同時提出了包括反演潛在注入和解纏提示引導在內的新技術，以增強圖像一致性和模型可編輯性。InstantEdit 在保持快速編輯速度的同時，實現了比其他方法更高的圖像編輯質量。

本文轉載自???AIGC Studio???，作者：AIGC Studio