這段時(shí)間，大神何愷明真是接連不斷地發(fā)布新研究。

這不，5 月 19 日，他又放出一篇新作！作者團(tuán)隊(duì)來(lái)自 CMU 以及 MIT。

• 論文標(biāo)題：Mean Flows for One-step Generative Modeling 
• 論文地址：https://arxiv.org/pdf/2505.13447v1

文章提出了一種名為 MeanFlow 的單步生成建模框架，通過(guò)引入平均速度（average velocity）的概念來(lái)改進(jìn)現(xiàn)有的流匹配方法，并在 ImageNet 256×256 數(shù)據(jù)集上取得了顯著優(yōu)于以往單步擴(kuò)散 / 流模型的結(jié)果，F(xiàn)ID 分?jǐn)?shù)達(dá)到 3.43，且無(wú)需預(yù)訓(xùn)練、蒸餾或課程學(xué)習(xí)。

生成模型旨在將先驗(yàn)分布轉(zhuǎn)換為數(shù)據(jù)分布。流匹配提供了一個(gè)直觀且概念簡(jiǎn)單的框架，用于構(gòu)建將一個(gè)分布傳輸?shù)搅硪粋€(gè)分布的流路徑。流匹配與擴(kuò)散模型密切相關(guān)，但關(guān)注的是引導(dǎo)模型訓(xùn)練的速度場(chǎng)。自引入以來(lái)，流匹配已在現(xiàn)代生成模型中得到廣泛應(yīng)用。

本文提出了一種名為 MeanFlow 的理論框架，用于實(shí)現(xiàn)單步生成任務(wù)。其核心思想是引入一個(gè)新的 ground-truth 場(chǎng)來(lái)表示平均速度，而不是流匹配中常用的瞬時(shí)速度。

文章提出使用平均速度（在時(shí)間間隔內(nèi)的位移與時(shí)間的比值）來(lái)代替流匹配中通常建模的瞬時(shí)速度。然后本文推導(dǎo)出平均速度與瞬時(shí)速度之間存在一個(gè)內(nèi)在的關(guān)系，從而作為指導(dǎo)網(wǎng)絡(luò)訓(xùn)練的原則性基礎(chǔ)。

基于這一基本概念，本文訓(xùn)練了一個(gè)神經(jīng)網(wǎng)絡(luò)來(lái)直接建模平均速度場(chǎng)，并引入損失函數(shù)來(lái)獎(jiǎng)勵(lì)網(wǎng)絡(luò)滿(mǎn)足平均速度和瞬時(shí)速度之間的內(nèi)在關(guān)系。

本文進(jìn)一步證明，該框架可以自然地整合無(wú)分類(lèi)器引導(dǎo)（CFG），并且在采樣時(shí)無(wú)需額外成本。

MeanFlow 在單步生成建模中表現(xiàn)出了強(qiáng)大的性能。在 ImageNet 256×256 數(shù)據(jù)集上，僅使用 1-NFE（Number of Function Evaluations）就達(dá)到了 3.43 的 FID 分?jǐn)?shù)。這一結(jié)果顯著優(yōu)于之前同類(lèi)方法的最佳水平，相對(duì)性能提升達(dá)到 50% 到 70%（見(jiàn)圖 1）。

此外，MeanFlow 是一個(gè)自成一體的生成模型：它完全從頭開(kāi)始訓(xùn)練，沒(méi)有任何預(yù)訓(xùn)練、知識(shí)蒸餾或課程學(xué)習(xí)。該研究大幅縮小了單步擴(kuò)散 / 流模型與多步研究之間的差距。

方法介紹

MeanFlow 核心思想是引入一個(gè)代表平均速度的新場(chǎng)。

平均速度 u 可表示為：

其中，u 表示平均速度，v 表示瞬時(shí)速度。u (z_t,r,t) 是一個(gè)同時(shí)依賴(lài)于 (r, t) 的場(chǎng)。u 的場(chǎng)如圖 3 所示：

平均速度 u 是瞬時(shí)速度 v 的函數(shù)，即，它是由 v 誘導(dǎo)的場(chǎng)，不依賴(lài)于任何神經(jīng)網(wǎng)絡(luò)。

進(jìn)一步的，為了得到適合訓(xùn)練的公式，本文將 Eq.(3) 改寫(xiě)為：

然后兩邊對(duì) t 求導(dǎo)，把 r 看作與 t 無(wú)關(guān)的變量，得到：

其中左側(cè)的運(yùn)算采用乘積法則，右側(cè)的運(yùn)算采用微積分。重新排列項(xiàng)，得到恒等式：

這個(gè)方程稱(chēng)為 MeanFlow 恒等式，它描述了 v 和 u 之間的關(guān)系。

圖 1 給出了最小化損失函數(shù)的偽代碼。

單步采樣

實(shí)驗(yàn)效果如何？

實(shí)驗(yàn)是在 256×256 ImageNet 數(shù)據(jù)集上進(jìn)行的。

圖 1 中，本文將 MeanFlow 與之前的單步擴(kuò)散 / 流模型進(jìn)行了比較，如表 2（左）所示。總體而言，MeanFlow 的表現(xiàn)遠(yuǎn)超同類(lèi)：它實(shí)現(xiàn)了 3.43 的 FID，與 IMM 的單步結(jié)果 7.77 相比，相對(duì)提升了 50% 以上。

如果僅比較 1-NFE（而不僅僅是單步）生成，MeanFlow 與之前的最佳方法（10.60）相比，相對(duì)提升了近 70%。不難看出，本文方法在很大程度上縮小了單步和多步擴(kuò)散 / 流模型之間的差距。

在 2-NFE 生成中，MeanFlow 實(shí)現(xiàn)了 2.20 的 FID（表 2 左下）。這一結(jié)果與多步擴(kuò)散 / 流模型的領(lǐng)先基線(xiàn)模型相當(dāng)，即 DiT （FID 2.27）和 SiT （FID 2.15），兩者的 NFE 均為 250×2（表 2 右）。

這一結(jié)果表明，few-step 擴(kuò)散 / 流模型可以媲美其多步模型。值得注意的是，本文方法是獨(dú)立的，完全從頭開(kāi)始訓(xùn)練。它無(wú)需使用任何預(yù)訓(xùn)練、蒸餾或課程學(xué)習(xí)，就取得了出色的結(jié)果。

表 3 報(bào)告了在 CIFAR-10（32×32）上的無(wú)條件生成結(jié)果，本文方法與先前的方法相比具有競(jìng)爭(zhēng)力。

表 1 為消融實(shí)驗(yàn)結(jié)果：

最后，展示一些 1-NFE 的生成結(jié)果。

更多詳情請(qǐng)參閱原論文。