宋亦仁，NUS Show Lab 博士生，研究方向是生成式 AI，及生成式 AI 的安全性。曾在網易游戲互娛 AI lab 實習，研發服務游戲美術場景的圖像生成模型；前小紅書智能創作組算法工程師，在 AIGC 與創意設計結合領域有豐富經驗。

劉成，NUS 重慶研究院四年級本科生， 研究方向是生成式 AI，負責 MakeAnything 數據集構建和模型調優。

人類智慧的一大特征是能夠分步驟創造復雜作品，例如繪畫、手工藝和烹飪等，這些過程體現了邏輯與美學的融合。然而，讓 AI 學會生成這樣的 “步驟教程” 面臨三大挑戰：多任務數據稀缺、步驟間邏輯連貫性不足，以及跨領域泛化能力有限。來自新加坡國立大學的最新研究 MakeAnything，通過 Diffusion Transformer（DiT）與非對稱 LoRA 技術的結合，首次實現了高質量、跨領域的程序化序列生成，在 21 類任務中取得優異表現，同時展現出在新任務上出色的泛化能力。本文將深入解析這一技術的方案設計與實驗結果。

一、從「生成結果」到「生成過程」

擴散模型擅長單張圖像合成，通過設計提示詞和 In-Context LoRA 訓練，先進的 DiT 模型可以生成多個子圖的拼圖，具有一致性的外觀。但生成多步驟序列時，往往面臨以下問題：

1. 邏輯斷層：步驟間缺乏因果關聯，如繪畫中 “先畫輪廓后上色” 的常識易被忽略；

2. 外觀漂移：前后幀的生成結果可能外觀不一致；

3. 數據瓶頸：現有的步驟數據集規模小、領域單一，難以支持復雜任務訓練。

MakeAnything 的解決思路直擊核心：

• 構建最大規模多領域數據集：涵蓋各類繪畫、手工藝、樂高組裝、Zbrush 建模、變形金剛變形、烹飪等 21 類任務，包含超過 24,000 條標注序列，首次實現從 “單一生成” 到 “步驟邏輯” 的數據支撐；
• 激活 DiT 的上下文能力：通過低秩微調激活 Flux 的上下文能力， 確保生成結果邏輯連貫性和外觀一致性；
• 非對稱 LoRA 設計：平衡通用知識與領域特性，顯著提升跨任務泛化能力。

二、技術詳解：如何讓 AI 學會「分步創作」？

1. 蛇形拼圖，利用擴散 Transformer（DiT）的空間注意力機制

之前的過程生成方法（如 ProcessPainter， PaintsUndo）使用 U-Net 架構和 Animatediff 時序模塊，對于前后幀外觀變化大、具有復雜邏輯性的過程生成表現不佳。而 MakeAnything 采用擴散 Transformer（DiT）作為基礎模型，通過拼圖將所有幀排版在一張圖上，利用空間注意力機制捕捉步驟間依賴關系。具體來說，MakeAnything 提出蛇形序列布局，將多步驟幀排列為蛇形排列的網格，確保時間相鄰的步驟在空間上也相鄰（見下圖），強化模型對步驟順序的感知。

2. 非對稱 LoRA：兼顧通用知識與特定任務

在不同任務序列上混訓 LoRA 模型會導致任務沖突，而分任務單獨訓練則面臨過擬合問題 。一些任務 (如特定畫師的肖像作品）只有 50 個數據序列，且類別單一，微調模型后僅能生成肖像。受大語言模型領域 HydraLoRA 啟發，我們將非對稱 LoRA 引入圖像生成，為了兼顧通用知識學習和特定任務效果。在 LoRA 中，A 矩陣和 B 矩陣是關鍵組成部分，用于替換傳統線性變換中的權重矩陣。A 矩陣通常是一個小尺寸的矩陣，用于將高維空間下采樣到低維空間。B 矩陣負責將低維空間重新投影回原始高維空間。

非對稱 LoRA 訓練時，在所有訓練數據集上，微調共享矩陣 A，從大規模預訓練中提取通用知識和分步驟邏輯；對不同任務微調單獨矩陣 B 以適配具體任務特性，如油畫筆觸、樂高拼接規則。推理時按權重融合不同的 B 矩陣，在保持泛化能力的同時，精準適配不同領域需求。

下圖展示了水墨畫、素描、油畫、風景插畫過程的生成結果，前后視覺一致性好，過程十分合理。

下圖展示了生成粘土玩具、陶藝、毛線玩具、石雕的結果，生成手工藝品的創建過程也不在話下。

下圖展示了更詳細的 9 幀步驟，分別是沙畫和變形金剛的變形過程。

3. ReCraft 模型：從「成品圖」反推創作過程

除了生成過程教程，本文還開發了 “ReCraft 模型”，為過程生成引入圖像條件。ReCraft 模型利用了變分自編碼器（VAE）來編碼目標圖像中的特征，這些 tokens 隨后與去噪 token 連接，用于指導 DIT 的去噪過程，以確保生成的中間幀在視覺上與目標圖像保持一致。我們將 Text2Sequence LoRA 與基礎模型融合，作為 ReCraft 模型訓練的基礎模型。通過復用預訓練的 Flux 模型結構，對于單一任務，僅需在 50 + 序列上微調 LoRA 即可實現圖像條件生成。

ReCraft 模型特別適合需要從已有作品中逆向工程或者從簡單圖像中創造詳細教程的應用場景。如下圖所示，預測繪畫、雕刻等手工藝步驟，樂高模型拼搭過程。

4. 新任務泛化

MakeAnything 還能在沒見過的任務上有一定泛化性能。下圖展示了將 MakeAnything 的過程 LoRA 和 Civitai, LibLib 社區的風格化 LoRA 結合使用的結果。盡管 MakeAnything 訓練是沒見過冰雕、浮雕、衍紙畫和水彩畫，仍能取得相當不錯的泛化結果。我們認為不同任務之間是相通的，比如各類雕刻和不同繪畫題材。

三、實驗結果 & 評估

1. 評估指標

一個好的教程需要是連貫的、合邏輯的并且有用的。MakeAnything 采用 CLIP Score 來評估生成結果的文本 - 圖像對齊，用 GPT4-o 和人類評估來評價生成結果的連貫性和有用性。通過精心設計了 GPT4-o 的輸入提示和評分規則，以符合人類的偏好。在對比實驗中，我們將不同基準的結果與我們的結果進行拼接，一次性輸入 GPT4-o，并讓其選擇在不同評價維度上最好的結果。

2. 對比試驗

在 Text2Sequence 任務中， MakeAnything 和最先進的 baseline 方法對比，分別是 ProcessPainter，Flux 1.0, 商業 API Ideogram。在 Image2Sequence 任務中，MakeAnything 對比了 Inverse Painting 和 PaintsUndo 兩種繪畫過程生成方法。

實驗結果顯示，MakeAnything 的結果在圖文一致性， 邏輯連貫性、有用性上取得領先。

3. 消融實驗

我們對不對稱 LoRA 進行了消融實驗，下圖對比了肖像生成和草圖生成的結果。前者在 50 張肖像繪畫序列上訓練， 后者在 300 張卡通角色草圖序列上訓練。我們對比了基礎模型的結果、標準 LoRA 的結果，以及采用對不對稱 LoRA 的結果。從結果可以看出，盡管基礎無法生成合理的分步驟結果，但是圖文一致性整體不錯。采用標準 LoRA 在類別分布不均勻的小數據上訓練導致了嚴重的過擬合，雖然分步驟的過程合理，圖文一致性顯著變差。而采用不對稱 LoRA 結果很好的兼顧過程合理性和圖文一致性。我們認為在海量過程數據上訓練的 A 矩陣學習到了更多通用的知識，有利于緩解過擬合。

表 2 展示了在更多任務上的定量實驗結果，進一步證實結論。

結語

MakeAnything 標志著 AI 從 “生成結果” 邁向 “生成過程” 的關鍵一步。更多細節見原文：https://arxiv.org/abs/2502.01572 其代碼、模型與數據集已開源 GitHub: https://github.com/showlab/MakeAnything，期待更多開發者共同探索過程生成的無限可能。