由高德、北大聯合推出的統一框架 Omni-Effects 創新性地采用LoRA-MoE混合專家架構，將多種特效無縫集成至統一模型，有效規避了跨任務干擾；同時通過空間感知提示SAP與獨立信息流模塊的協同作用，實現了對特效空間位置的精準把控，防止了控制信號的混雜。此外還精心構建了Omni-VFX數據集與專用評估框架，為框架的性能驗證提供了堅實支撐。實驗結果顯示，Omni-Effects能精準控制特效位置，并生成豐富多樣的特效，為電影特效制作帶來了革命性的突破。

Omni-Effects 支持 (a) 單一視覺特效和 (b) 多視覺特效生成，均通過純提示引導生成。與空間感知提示集成，Omni-Effects 可實現 (c) 精確的空間視覺特效控制，以及 (d) 復雜的基于對象的視覺特效，并可實現有針對性的環境變換。

效果展示

相關鏈接

• 論文：https://arxiv.org/pdf/2508.07981
• 源碼：https://github.com/AMAP-ML/Omni-Effects
• 試用：https://huggingface.co/GD-ML/Omni-Effects
• 數據：https://huggingface.co/datasets/GD-ML/Omni-VFX

論文介紹

視覺效果 (VFX) 是現代電影制作必不可少的視覺增強技術。盡管視頻生成模型為 VFX 制作提供了經濟高效的解決方案，但當前方法受限于針對每個效果的 LoRA 訓練，導致生成僅限于單一效果。這一根本限制阻礙了需要空間可控復合效果（即在指定位置同時生成多個效果）的應用。然而，將多種效果集成到統一框架中面臨著重大挑戰：效果變化的干擾以及多 VFX 聯合訓練期間的空間不可控性。為了應對這些挑戰，我們提出了Omni-Effects，這是第一個能夠生成提示引導效果和空間可控復合效果的統一框架。該框架的核心包含兩項關鍵創新：(1)基于 LoRA 的混合專家 (LoRA-MoE)，它采用一組專家 LoRA，將多種效果集成到統一模型中，同時有效地減少跨任務干擾。(2)空間感知提示 (SAP)將空間掩碼信息合并到文本標記中，從而實現精確的空間控制。此外，我們引入了一個集成在 SAP 中的獨立信息流 (IIF) 模塊，用于隔離與各個特效對應的控制信號，從而防止任何不必要的混合。為了促進這項研究，我們通過一種結合圖像編輯和首尾幀到視頻 (FLF2V) 合成的新型數據收集流程構建了一個全面的 VFX 數據集Omni-VFX，并引入了一個專用的 VFX 評估框架來驗證模型性能。大量實驗表明，Omni-Effects實現了精確的空間控制和多樣化的特效生成，使用戶能夠指定所需特效的類別和位置。

方法概述

Omni-Effects 流程圖。 給定參考圖像和任意長度的復合條件，Omni-Effects 首先將每個輸入編碼為相應的 token。這些 token 被連接起來，并通過下游 DiT 模塊按順序處理。這些模塊包含兩項關鍵技術：(a) LoRA-MoE，這是一個 MoE 插件，用于替代標準的 FFN 線性層，以實現協作式專家任務解決；(b) SAP，它在注意階段將效果描述符與空間觸發信息融合，同時通過 IIF 機制減少跨條件信息泄漏。需要注意的是，在 IIF 中，虛線表示受阻的信息流，而實線表示主動信息傳輸。模型采用 IIF 驅動的 SPA 控制機制，支持對同一視頻中的多個條件進行獨立、互不干擾的控制。

可控VFX性能和注意力圖的可視化。（a）位置描述缺乏空間控制；（b）ControlNet面臨條件間干擾，導致VFX泄漏和偽影；（c）提出的SAP+IIF實現了精確的位置可控性，同時防止了多VFX之間的相互干擾。

實驗結果

Omni-Effects在視覺效果生成中實現了精確的空間控制。

結論

Omni-Effects是一個用于生成定制化 VFX 視頻的統一框架。 它支持創建各種 VFX，從單 VFX、多 VFX 到空間可控的多 VFX。該框架集成了兩個核心模塊：LoRA-MoE 和 SAP-IIF。

• LoRA-MoE 模塊: 可以減輕多 VFX 混合訓練過程中出現的交叉條件干擾。
• SAP 模塊: 將 VFX 描述符與空間觸發信息融合，并通過 IIF 機制解決交叉條件信息泄露問題。

通過 LoRA-MoE 和 SAP-IIF 的協同集成，Omni-Effects 可以實現精確的空間控制，并生成高保真度的多 VFX 合成視頻。ciwai 還開發了一個全面的 VFX 數據集 Omni-VFX，其中包含專門的數據生產流程和專為可控 VFX 生成量身定制的評估框架證明了 Omni-Effects 在復雜、多條件的視覺特效生成場景中的穩健性。

本文轉載自????AIGC Studio????，作者：AIGC Studio