ICLR 2025｜質量無損，算力砍半！達摩院開源視覺生成新架構，出道即SOTA
算力砍半，視覺生成任務依然SOTA！
達摩院在ICLR 2025上拋出的DyDiT架構：通過時間步長與空間區域的智能資源分配，將DiT模型的推理算力削減51%，生成速度提升1.73倍，而FID指標幾乎無損！
更驚人的是，這一突破僅需3%的微調成本。
該方法通過引入動態化調整機制，可精準削減視覺生成任務中50%的推理算力，有效緩解傳統擴散模型的計算冗余問題，相關工作已開源。
算力砍半效果依然SOTA
DiT架構作為當前主流的生成模型框架，有效實現了圖像與視頻的可控生成，推動生成式AI走向應用爆發。
然而，DiT架構的多步生成策略存在推理效率低、算力冗余等問題，在執行視覺生成任務容易造成極高的算力消耗，限制其往更廣泛的場景落地。
業內提出高效采樣、特征緩存、模型壓縮剪枝等方法嘗試解決這一問題，但這些方法均針對靜態不變模型，又衍生出潛在的冗余浪費問題。
達摩院（湖畔實驗室）、新加坡國立大學、清華大學等聯合研究團隊在論文《Dynamic Diffusion Transformer》提出了動態架構DyDiT，能夠根據時間步長和空間區域自適應調整計算分配，有效緩解視覺生成任務中的算力消耗問題。
具體而言，DyDiT能在簡單的時間步長使用較窄的模型寬度，減少計算資源；在空間維度上優先處理含有詳細信息的主要對象，減少對背景區域的計算資源分配，提升推理效率與減少計算冗余的同時，保持生成質量。
使用者更可根據自身的資源限制或者部署要求，靈活調整目標的計算量，DyDiT將自動適配模型參數，實現效果與效率的最佳平衡。
實驗結果表明，DyDiT在多個數據集和生成模型下均表現出高穩定性。
僅用不到3%的微調成本，將DiT-XL的浮點運算次數（FLOPs）減少了51%，生成速度提高了1.73倍，在ImageNet測得的FID得分與原模型幾乎相當（2.27vs2.07）。
據透露，DyDiT相關訓練與推理代碼已開源，并計劃適配到更多的文生圖、文生視頻模型上，目前基于知名文生圖模型FLUX調試的Dy-FLUX也在開源項目上架。
據悉，達摩院今年共有13篇論文被ICLR 2025錄用，涵蓋了視頻生成、自然語言處理、醫療AI、基因智能等領域，其中3篇被選為Spotlight。
論文鏈接：https://arxiv.org/abs/2410.03456
