精品欧美一区二区三区在线观看 _久久久久国色av免费观看性色_国产精品久久在线观看_亚洲第一综合网站_91精品又粗又猛又爽_小泽玛利亚一区二区免费_91亚洲精品国偷拍自产在线观看 _久久精品视频在线播放_美女精品久久久_欧美日韩国产成人在线

斯坦福與Adobe新研究,模仿蒸餾技術輕松讓200億參數圖像生成高質量大模型

人工智能 新聞
斯坦福大學和 Adobe 研究院聯手,用 pi-Flow(基于策略的流模型)技術,讓 200 億參數的文本到圖像大模型,在 4 步之內就生成了媲美教師模型的高質量、高多樣性圖片。

高質量圖像生成又加速了!

斯坦福大學和 Adobe 研究院聯手,用 pi-Flow(基于策略的流模型)技術,讓 200 億參數的文本到圖像大模型,在 4 步之內就生成了媲美教師模型的高質量、高多樣性圖片。

讓圖像生成模型少走幾步

所有玩過 AI 繪畫的人都有一個共同的體驗,未蒸餾的原版大模型,點擊生成,看著進度條一點點爬升,從一個模糊的噪聲,慢慢變得清晰。這個過程短則十幾秒,長則幾分鐘。

模型拿到一團純粹的隨機噪聲,然后一步一步地猜,“如果我想得到一張貓的圖片,這一步應該把噪聲變成什么樣?”。這個過程叫“去噪”。它需要猜幾十步甚至上百步,才能把一個隨機的東西,變成一張有意義的畫。

每一步,模型都要完整地運行一次,消耗巨大的計算資源。

于是有人想,能不能少走幾步?比如原來要走 100 步,現在我走 10 步、5 步,甚至 1 步,行不行?

這就是所謂的“少步采樣”(Few-Step Generation)。

但當你強行減少步數,問題就來了。步子邁得太大,容易扯著。專業點說,這叫“離散化誤差”。

模型本來是基于一個連續的、平滑的變換過程設計的,你非要讓它大踏步地跳著走,中間的細節就全丟了。結果就是生成的圖片質量急劇下降,要么模糊不清,要么出現各種奇怪的偽影。

還有“質量-多樣性權衡”問題。

少步生成要想圖片質量高,生成的多樣性就得犧牲。出來的圖來來回回就那幾個樣子,失去了創作的驚喜感。反過來,如果想讓圖片風格多變,質量又會變得很差。就像一個學畫畫的學生,如果只讓他快速畫幾筆,他要么只能畫出他最熟練的那一個東西,要么就畫得亂七八糟。

為了解決這個問題,大家想了很多辦法,比如“模型蒸餾”。就是讓一個已經訓練好的知識淵博的“教師模型”,手把手教一個“學生模型”怎么快速拿到好結果。

但這個過程很復雜,有時候需要引入額外的判別器(GAN, 生成對抗網絡),或者計算復雜的雅可比向量積(JVP, Jacobian-Vector Product),工程上非常麻煩,效果也常常不盡如人意。

GMFlow 說,世界不是非黑即白

斯坦福大學和 Adobe 研究院聯手搞的一個項目 LakonLab,決定從根子上解決問題。他們首先推出的 GMFlow,在 2025 年的 ICML(國際機器學習大會)上亮相,直接挑戰了傳統擴散模型和流匹配模型(Flow Matching Models)的一個基本假設。

傳統模型在去噪的每一步,都假設像素下一步應該變成的樣子,符合一個簡單的高斯分布。也就是說,模型會預測一個最可能的目標均值,然后朝著那個方向走。

但真實世界復雜得多。一個像素點在去噪過程中,完全可以有多種同樣合理的可能性。比如,一塊區域既可以是藍天,也可以是白云。傳統模型強行讓它選一個,就可能導致最終結果很僵硬,缺乏細節和真實感。

GMFlow 想:為什么只能有一個選項?

它不再預測一個單一的高斯均值,而是預測一個高斯混合分布(Gaussian Mixture, GM)。模型在每一步都會說:“這個像素點,有 40% 的可能應該變成這個樣子(第一個高斯分布),有 30% 的可能應該變成那個樣子(第二個高斯分布),還有 30% 的可能……”

它為像素的演化提供了多個備選項,并且給出了每個選項的概率。這一下就把模型的表達能力打開了。它能更好地捕捉真實世界中那種模棱兩可、充滿多種可能性的狀態。這對于生成細節豐富、紋理復雜的圖像至關重要。

為了配合這個新的輸出形式,GMFlow 還設計了一套專屬的 GM-SDE(隨機微分方程)和 GM-ODE(常微分方程)求解器。這套求解器能夠精確地利用模型給出的高斯混合信息,進行更準確的采樣。即使在很少的步數下,也能有效地減少離散化誤差。

GWMFlow 還改進了引導方式。傳統的分類器自由引導(Classifier-Free Guidance, CFG)是通過加強文本提示的影響力來提升圖像質量,很容易用力過猛,導致圖像色彩過飽和、細節失真。GMFlow 提出了概率引導(Probabilistic Guidance),這種方式更溫和、更智能,它利用高斯混合分布的概率信息來做引導,既提升了質量,又避免了過飽和問題。

GMFlow 的效果立竿見影。在 ImageNet 256×256 這個標準數據集上,只用 6 步采樣,它的精度(Precision)就達到了 0.942,明顯超過了之前的流匹配基線模型。

pi-Flow 把老師傅的心法學會了

如果說 GMFlow 是對模型“看世界”的方式做了升級,那么 pi-Flow,就是對模型“行動”的方式進行了一場徹頭徹尾的革命。

pi-Flow 的全稱是“基于策略的流模型”(Policy-Based Flow Models)。它的核心思想,來自于一個非常聰明的類比:模仿蒸餾(Imitation Distillation)。

我們繼續用教師和學生的例子。以前的蒸餾方法,好比是教師模型(走的慢但畫得好)在每個關鍵節點,告訴學生模型(想走的快):“你應該走到這里”。學生模型就拼命學習,記住每個節點的位置。但當步數變得極少,比如從 100 步壓縮到 4 步,節點之間間隔巨大,學生就懵了,因為它不知道兩點之間該怎么走才是最優路徑,只能硬著頭皮走直線,結果自然很差。

pi-Flow 換了個思路。它不讓學生模型去死記硬背那幾個關鍵節點的位置。

它讓學生模型學習老師傅的“心法”。

這個“心法”,在 pi-Flow 里被稱為“策略”(Policy)。

具體來說,學生模型的網絡不再直接輸出一個最終的去噪結果,而是輸出一個“策略”。這個策略是一個小型的、不依賴于大模型本身的計算規則。拿到這個策略后,你可以在當前的一大步(比如從第 1 步到第 2 步)之內,再進行多次微小的子步驟計算。

關鍵點在于,這些子步驟的計算,完全由這個“策略”來指導,不需要再反復調用那個龐大、笨重的學生網絡。

這就像老師傅教徒弟功夫,不是教他一招一式的死套路,而是教他一套內功心法。徒弟學會心法后,就可以根據實際情況,在一次交手中瞬息萬變地使出無數招式,而不需要每次都停下來問師傅“這下該怎么辦”。

這個教學過程,pi-Flow 稱之為“策略模仿蒸餾”(pi-ID)。它通過一個簡單的 L2 流匹配損失函數,讓學生模型生成的“策略”,在執行完一系列子步驟后的最終軌跡,與教師模型慢悠悠走出來的精確軌跡,盡可能地對齊。

整個過程異常干凈利落。沒有花里胡哨的輔助網絡,沒有不穩定的對抗訓練(GAN),也不需要計算復雜的 JVP。就是一個簡單的 L2 損失,直指問題核心。

pi-Flow 的這個設計,直接打破了前面提到的“質量-多樣性”的魔咒。

因為它學習的不是一個僵化的結果,而是一個動態生成路徑的“方法論”。這個方法論本身就蘊含了教師模型對于多樣性的理解。因此,學生模型在快速生成時,既能保持教師級別的圖像質量和風格一致性,又能產生豐富的多樣性。

在 ImageNet 256×256 數據集上,它用 DiT(一種流行的視覺 Transformer 架構)做學生模型,僅需 1 次網絡功能評估(1-NFE),也就是模型主體只跑一次,就能達到 2.85 的 FID(一個衡量生成圖像質量和多樣性的核心指標,越低越好)。

LakonLab 把它用在了 FLUX.1(120 億參數)和 Qwen-Image(通義千問-Image,200 億參數)這種巨無霸模型上。結果,在僅僅 4 次網絡評估(4 NFEs)下,pi-Flow 生成圖像的多樣性,顯著超過了當時市面上其他的少步生成方案,比如 SenseFlow 和 Qwen-Image Lightning,同時圖像質量幾乎和需要走很多步的教師模型看不出差別。

GMFlow 是理論基礎,為 pi-Flow 的策略輸出提供了靈感;pi-Flow 則是將這個理論發揮到極致的工程杰作,它把教師的“知識”高效地壓縮到了學生的“策略”里。

LakonLab 基石

LakonLab 連續推出 GMFlow 和 pi-Flow,背后是斯坦福大學和 Adobe 研究院強大的工程能力和產學研協同體系。

LakonLab 本身就是一個為大規模擴散模型實驗而生的高性能代碼庫。它的設計目標是要能支撐得起百億甚至千億參數級別模型的訓練和推理。

這里面有幾個關鍵特性:

  • 分布式訓練優化:訓練 200 億參數的模型,單張顯卡是天方夜譚。LakonLab 深度整合了多種分布式訓練方案,如 DDP(分布式數據處理)、FSDP(完全分片數據并行)等。這些技術能將一個巨大的模型和海量的數據,拆分到成百上千張 GPU(圖形處理器)上進行協同訓練,極大地提高了訓練效率。
  • 權重綁定(Weight Tying):在超大模型中,通過在不同部分共享參數,可以有效減少模型的總參數量和顯存占用,讓更大模型的訓練成為可能。
  • 高級流求解器:它內置了為 GMFlow 和 pi-Flow 量身定制的求解器,如 FlowSDEScheduler 和 FlowAdapterScheduler,保證了算法能高效、精確地運行。
  • 多存儲后端支持:支持從本地文件系統、AWS S3 到 HuggingFace 的多種數據存儲和模型加載方式,方便研究人員在不同環境下進行實驗。
  • 與 Diffusers 的深度集成:Diffusers 是 HuggingFace 推出的一個流行的擴散模型庫。LakonLab 與它的集成,意味著這些前沿的技術可以很方便地被更廣泛的社區使用和驗證。

這個強大的工程底座,是 GMFlow 和 pi-Flow 從理論走向現實的橋梁。

來看看生成效果:

pi-Flow 和 GMFlow 的出現,為圖像生成領域,帶來了里程碑式的影響。

責任編輯:張燕妮 來源: AIGC開放社區
相關推薦

2023-02-14 09:45:11

模型測試

2023-03-15 10:26:00

模型開源

2023-10-11 09:53:27

人工智能AI 圖像

2017-11-28 14:18:29

2023-12-08 13:22:00

數據模型

2022-10-20 15:38:02

谷歌模型

2023-03-31 13:55:00

模型智能

2023-03-22 15:14:00

數據模型

2025-01-17 10:26:19

模型開發ChatGPT

2023-06-25 13:28:21

2025-08-27 07:17:00

數據驅動數據治理大數據

2023-11-30 13:04:56

LCM圖像

2022-11-09 13:43:59

中小企業

2024-09-11 15:00:00

2023-07-21 14:47:24

AI訓練

2024-06-17 08:49:00

模型語言

2023-08-28 13:06:47

2024-11-29 16:35:50

模型訓練

2022-10-08 12:38:23

模型開源

2011-05-31 13:43:46

外鏈
點贊
收藏

51CTO技術棧公眾號

国产69精品久久久久777| 国产一区二区精品福利地址| 亚洲综合色丁香婷婷六月图片| 成人免费视频网站| 国产成人无码av| 欧美国产一级| 亚洲福利视频网站| 在线观看的毛片| 欧美伦理免费在线| 久久久久成人黄色影片| 成人妇女淫片aaaa视频| 四虎永久在线精品| 98精品视频| 亚洲精品www久久久| 在线不卡一区二区三区| 理论片午夜视频在线观看| 国产精品丝袜一区| 久久九九视频| 国内精品久久久久久久久久 | 亚洲一区二区在| 亚洲不卡免费视频| 美腿丝袜亚洲色图| 欧美亚洲在线视频| 一级黄色录像视频| 欧美亚洲国产激情| 99综合在线| 亚洲欧美偷拍卡通变态| 欧美亚洲免费在线| 黄色av小说在线观看| 看国产成人h片视频| 欧美在线欧美在线| 欧美日韩一级大片| 四季av一区二区三区免费观看| 日韩电影视频免费| 精人妻一区二区三区| 欧洲午夜精品| 一本到一区二区三区| 九色自拍视频在线观看| h网站久久久| 国产精品久久久久久户外露出| 蜜桃视频在线观看91| 亚洲经典一区二区三区| 国产一区二区三区黄视频| 国产精品夫妻激情| 亚洲乱码国产乱码精品| 99热免费精品在线观看| 九九精品在线播放| 国产精品视频一区二区三| 日韩在线第七页| 亚洲性无码av在线| 色欲AV无码精品一区二区久久| 91香蕉国产在线观看| 伊人网站在线观看| 亚洲男人天堂久久| 国产精品久久久久久久久久妞妞| 色综合导航网站| 精品欧美一区二区久久久久| 一区二区三区午夜视频| 久久精品国产综合| 亚洲少妇xxx| 欧美激情国产在线| 久久精品久久久久| 亚洲天堂黄色片| 欧美成人午夜| 久久久久久成人| 日本熟妇一区二区| 男人的天堂亚洲在线| 国产精品成人av性教育| 欧美在线视频精品| 久久99热这里只有精品| 91在线免费视频| 亚洲av无码国产精品永久一区| 福利电影一区二区| 久久99欧美| 97视频精彩视频在线观看| 中文字幕精品在线不卡| 一区二区三区四区视频在线| 国产淫片在线观看| 亚洲国产乱码最新视频| 1024av视频| 亚洲第一会所| 91精品欧美福利在线观看| 免费观看黄网站| 日本欧美韩国国产| 亚洲性视频网站| 91视频综合网| 国产视频一区在线观看一区免费| 日本久久久久久久久| 伊人网综合在线| 国产精品18久久久久久vr| 国产亚洲欧美一区二区| 日本aaa在线观看| 国产精品久久影院| 成人免费视频91| 欧美日韩在线精品一区二区三区激情综合 | 91精品国产91久久综合桃花 | 2021久久国产精品不只是精品| 日韩激情视频| 在线欧美三级| 色哟哟在线观看一区二区三区| 三上悠亚在线一区| 久草在线综合| 国产亚洲精品美女久久久| 极品魔鬼身材女神啪啪精品| 国产精品五区| 亚洲自拍小视频| 欧美女同网站| 亚洲一区二区欧美激情| 日日噜噜噜噜久久久精品毛片| 视频精品一区| 一区二区三区天堂av| 久久久全国免费视频| 奇米综合一区二区三区精品视频| 国产欧美日韩综合一区在线观看| 日韩美女网站| 欧美性猛交xxxx免费看久久久| 超碰在线资源站| 欧美猛男男男激情videos| 欧美高清一级大片| 中文字幕日韩第一页| 91在线高清观看| 最近免费观看高清韩国日本大全| 欧美日韩国产v| 欧美精品一区二区精品网| 国产精品精品软件男同| 首页欧美精品中文字幕| 国偷自产av一区二区三区小尤奈| 成人日韩欧美| 欧美色网一区二区| 91网站免费视频| a91a精品视频在线观看| 成人在线观看av| 国内精品久久久久国产| 欧美在线观看一二区| 性色av蜜臀av色欲av| 伊人久久久大香线蕉综合直播| 91嫩草在线视频| 成年人视频在线免费观看| 狠狠干狠狠久久| 香港三级日本三级| 国产一区二区三区久久| 国产一区福利视频| 久久av色综合| 精品动漫一区二区三区在线观看| 欧美成人三级视频| 国产99一区视频免费| 欧美交换配乱吟粗大25p| 国产精品777777在线播放| 日韩亚洲一区二区| www.亚洲激情| 中文字幕第一区| 亚洲一级片免费| 日韩欧美二区| 91天堂在线视频| 天堂成人av| 日韩精品一区二区三区swag| 黄色一级视频免费| 国产高清在线观看免费不卡| 50度灰在线观看| 视频二区欧美毛片免费观看| 欧美国产第一页| 国产自产一区二区| 激情成人中文字幕| av黄色免费网站| 日韩国产欧美三级| 亚洲午夜精品国产| 成人免费91| 欧美激情精品久久久久| 欧美一区二区在线观看视频| 亚洲成av人片在线| 欧美bbbbb性bbbbb视频| 久久久久国产精品午夜一区| 日韩精品久久一区二区三区| 九九热这里有精品| 欧美刺激性大交免费视频| 亚洲爱爱综合网| 日韩欧美一区视频| 性少妇xx生活| 国产精品自拍在线| 国产精品国三级国产av| 九九热精品视频在线观看| 国产精品视频免费在线| bt在线麻豆视频| 日韩成人在线免费观看| 中文字幕有码视频| 一区二区三区欧美| 国产成人精品无码免费看夜聊软件| 青娱乐精品视频在线| 欧美日韩一级在线| 午夜精品福利影院| 国产这里只有精品| 久草在线资源福利站| 精品国产一区二区三区在线观看 | 少妇淫片在线影院| 日韩中文字幕网址| 天天躁日日躁狠狠躁伊人| 欧美日韩精品三区| 日产电影一区二区三区| 亚洲国产精品国自产拍av| 日本少妇xxxx软件| 日本最新不卡在线| 国产一区二区三区小说| 成人三级视频| 精品国产一区二区三区麻豆小说 | 九九九九九九精品| 亚洲影视资源| 欧美最顶级的aⅴ艳星| 成人看av片| 国产亚洲精品激情久久| 亚洲老妇色熟女老太| 欧美视频一区二区三区四区| 日操夜操天天操| 亚洲视频在线一区二区| 久久成人激情视频| 成人av网站在线| 国产大片一区二区三区| 奇米888四色在线精品| 91视频 -- 69xx| 韩日精品在线| 中文字幕一区综合| 精品一区二区三区在线| 黄色小网站91| 在这里有精品| 成人午夜小视频| 成人涩涩视频| 欧美中文在线观看国产| а√天堂中文在线资源8| 久久精品国产清自在天天线| 国产一区二区影视| 亚洲精品视频播放| 免费国产黄色片| 欧美v日韩v国产v| 99精品久久久久久中文字幕| 欧美日韩一级视频| 午夜久久久久久久久久影院| 五月天久久比比资源色| 精品无码av在线| 一区二区三区美女视频| 黄色a级片在线观看| 国产精品护士白丝一区av| 你懂得视频在线观看| 国产精品网站在线| 亚洲精品视频网址| 国产精品久久久久久久久快鸭| 极品尤物一区二区| 国产无一区二区| 久久久久亚洲av无码a片| 国产亚洲精品7777| 高潮毛片无遮挡| 久久精品一区二区三区av| 亚洲av无码国产精品久久| 99久久精品费精品国产一区二区| 欧美双性人妖o0| 99久久精品免费| 久久一区二区电影| 99国产欧美另类久久久精品| 欧美丰满少妇人妻精品| 国产亚洲一区字幕| 伊人影院综合网| 中文字幕一区视频| 欧美成人黄色网| 亚洲国产欧美日韩另类综合 | 亚洲经典视频在线观看| 欧美综合在线播放| 久久九九国产| 色一情一区二区| 成人在线视频一区二区| 日韩av手机在线播放| 久久这里都是精品| 国产成人在线网址| 玉米视频成人免费看| 中文字幕一区二区三区手机版| 欧美午夜美女看片| 中文字字幕在线观看| 日韩手机在线导航| 亚洲欧美综合在线观看| 最近中文字幕2019免费| 性欧美videoshd高清| 97久久精品视频| 456成人影院在线观看| 91亚洲va在线va天堂va国| 美女视频亚洲色图| 新呦u视频一区二区| 欧美成人tv| 99色精品视频| 久久97超碰色| 亚洲精品在线视频免费观看| 欧美高清在线视频| 国产一级一片免费播放| 日本精品一级二级| 亚洲第一视频在线播放| 亚洲欧美日韩一区二区三区在线| 免费av在线网址| 57pao国产成人免费| 四虎地址8848精品| 精品免费视频123区| 欧美黄色录像片| 欧美视频在线播放一区| 国产一区福利在线| 插吧插吧综合网| 亚洲精品视频在线观看免费| 国产嫩bbwbbw高潮| 欧美不卡一区二区三区四区| 超碰免费97在线观看| 国产69精品久久久久99| 全球中文成人在线| 久久久久久国产精品一区 | 日韩中文综合网| 国产ktv在线视频| 亚洲自拍偷拍第一页| 日韩精品久久久久久久电影99爱| av网站手机在线观看| 日韩精品91亚洲二区在线观看| 精人妻一区二区三区| 国产精品的网站| 最新中文字幕在线观看视频| 亚洲成人精品视频| 在线三级电影| 国产日韩一区在线| 国产伦精品一区二区三区千人斩| 久久久久久久久久久综合| 日韩电影在线观看电影| 性欧美丰满熟妇xxxx性久久久| 亚洲精品中文在线| 91tv国产成人福利| 在线观看欧美www| 精品免费av在线| 久久爱av电影| 亚洲欧洲日本一区二区三区| 久久发布国产伦子伦精品| 国产精品嫩草99a| 国产一级精品毛片| 亚洲天堂第一页| 高清不卡av| 欧美日本亚洲| 久久久水蜜桃av免费网站| 日韩av手机在线播放| 午夜婷婷国产麻豆精品| 国产成人毛毛毛片| 欧美成人精品在线播放| 国产精品色婷婷在线观看| 亚洲精品日韩成人| 美国一区二区三区在线播放| 亚洲国产天堂av| 欧美私模裸体表演在线观看| 久久综合九色综合久| 国产成人91久久精品| 久久爱www成人| 男人插女人下面免费视频| 久久精品一区二区三区不卡| 午夜一区二区三区四区| 国产亚洲福利一区| 国产a亚洲精品| 中文字幕一区二区中文字幕| 国产一区二区三区综合| 激情视频在线播放| 精品久久国产老人久久综合| 国产精品69xx| 精品日韩电影| 视频一区二区三区入口| 中文字幕av久久爽一区| 欧美日韩一区 二区 三区 久久精品| 亚洲少妇一区二区| 成人aaaa| 9久久婷婷国产综合精品性色| 国产精品无人区| 国产精选久久久| 欧美日韩成人在线播放| 红杏视频成人| 亚欧在线免费观看| 亚洲欧美一区二区在线观看| 国产激情视频在线播放| 91高清视频免费| 激情五月色综合国产精品| 午夜免费看毛片| 亚洲综合久久久| 天堂在线观看免费视频| 国产精品∨欧美精品v日韩精品| 久久一区二区三区喷水| 黄色一级片免费播放| 黄色成人在线播放| a黄色在线观看| julia一区二区中文久久94| 亚洲主播在线| 日本视频在线免费| 精品国产乱码久久久久久浪潮 | 婷婷国产在线综合| 每日更新av在线播放| 国产在线观看精品| 亚洲国产国产亚洲一二三| 亚洲午夜精品久久久久久高潮| 日韩三级免费观看| 免费观看亚洲| 精品国产无码在线| 久久嫩草精品久久久精品| 91丨porny丨在线中文 | 九九热这里有精品| 国产综合中文字幕| 国产精品美日韩| 熟妇人妻中文av无码|