4月18日，著名開源大模型平臺Stability.ai在官網(wǎng)宣布，最新文生圖模型Stable Diffusion 3 （簡稱“SD3”）和 SD3 Turbo可以在API中使用。

據(jù)悉，本次繼續(xù)由知名API管理平臺Fireworks AI提供服務(wù)。與前兩代相比，SD3除了生成的圖片質(zhì)量更高之外，可以更好地理解提示文本中嵌入到圖片中的文字。

例如，一個色彩繽紛的魔法世界，天空的中央寫著“歡迎來到魔法世界”。

前兩個模型版本可能無法將“歡迎來到魔法世界”精準嵌入到圖片的指定位置或出現(xiàn)扭曲的文字，而SD3可以輕松實現(xiàn)。

此外，SD3的模型權(quán)重將很快向Stability AI會員提供，可以在本地部署、運行SD3。

API地址：https://platform.stability.ai/docs/api-reference?_gl=1*1ldjred*_ga*ODY1NjAxMzA1LjE3MDcyNTYwMTM.*_ga_W4CMY55YQZ*MTcxMzM5NDE4OS40NC4xLjE3MTMzOTQyNTUuMC4wLjA.#tag/Generate/paths/~1v2beta~1stable-image~1generate~1sd3/post

Stable Diffusion 3架構(gòu)簡單介紹

今年2月22日，Stability.ai在官網(wǎng)首次展示了SD3并開啟候補測試。隨后3月5日在arxiv上公布了其論文。

根據(jù)其論文介紹，SD3與前兩代相比最大技術(shù)創(chuàng)新在于，使用了MM-DiT和Flow Matching兩種方法來增強模型的輸出、訓練、優(yōu)化等，同時支持文本或圖像作為提示實現(xiàn)多模態(tài)能力。

通常多數(shù)文生圖模型在生成的過程中，只考慮圖像本身而沒有充分利用文本信息，所以，輸出結(jié)果時經(jīng)常出現(xiàn)“驢頭不對馬嘴”的情況，甚至是一些無法理解的亂碼或者扭曲的圖像。

而MM-DiT通過結(jié)合Transformer的自注意力機制強大的文本和圖像序列處理能力，幫助模型在生成圖像時能與文本實現(xiàn)更好的匹配。

當用戶輸入文本或圖像提示時，首先被轉(zhuǎn)換為嵌入表示。文本通過預(yù)訓練的文本模型編碼，而圖像則通過預(yù)訓練的自動編碼器轉(zhuǎn)換為潛在空間表示。

MM-DiT會使用一種調(diào)制機制來整合時間步和文本條件信息，會將時間步和文本嵌入與圖像的潛在表示進行整合。

接著，MM-DiT會利用一系列的調(diào)制注意力和多層感知力進一步混合文本和圖像特征。這些塊允許模型在保留各自模態(tài)特征的同時，進行跨模態(tài)的信息交流。

為了幫助SD3更好地處理多模態(tài)數(shù)據(jù)，MM-DiT采用了多頭注意力機制，允許模型在不同的表示子空間中并行處理信息。

這也是SD3能深度理解文本提示中的嵌入文字主要原因，MMDiT不僅能將文字轉(zhuǎn)換成圖片，還能確保圖片能夠反映出文字中的所有細節(jié)。

根據(jù)測試數(shù)據(jù)顯示，與DiT、CrossDiT、UViT等方法相比，MM-DiT所有指標上表現(xiàn)都非常出色，并且在內(nèi)部共享權(quán)重集。

Flow Matching是一種用于訓練Rectified Flow模型的方法，通過最小化生成路徑上的誤差來改善模型性能，同時幫助模型學習從隨機噪聲快速轉(zhuǎn)換到目標圖像。

在訓練過程中，F(xiàn)low Matching會先定義一個從數(shù)據(jù)分布到噪聲分布的前向過程，這個過程通過一系列的時間步驟來模擬，每個步驟都對應(yīng)著數(shù)據(jù)向噪聲的逐漸轉(zhuǎn)變。

接著，通過對每個時間步的噪聲樣本生成一個向量場，可以在概率空間中模擬數(shù)據(jù)到噪聲的轉(zhuǎn)換。

最后，F(xiàn)low Matching通過最小化一個目標函數(shù)來優(yōu)化生成向量場。該目標函數(shù)的作用是幫助模型預(yù)測的向量場和真實向量場之間的差異。優(yōu)化的過程中會盡量減小這個差異，從而提高模型的生成圖像預(yù)測準確性。

關(guān)于SD3更詳細的技術(shù)解讀，小伙伴們可以查看論文。

SD3生成圖片展示

根據(jù)Stability.ai展示的效果，SD3生成的圖片有一些甚至比Midjourney更好，尤其是文字嵌入方面。

一座白色建筑頂部放著一張紅色沙發(fā)。涂鴉強上寫著“城市最佳景觀”。

一個印有“他們說在這里思考不好”的紙板箱，紙板箱很大，放在劇場舞臺上。

半透明的豬，肚子里有一只更小的豬。

一只奶酪制作的螃蟹，在盤子中。

在山頂上有一位巫師創(chuàng)作了一幅令人驚嘆的藝術(shù)作品，他用魔法創(chuàng)造了文字"Stable Diffusion 3 API"。

本文轉(zhuǎn)自 AIGC開放社區(qū) ，作者：AIGC開放社區(qū)

原文鏈接:??https://mp.weixin.qq.com/s/TF1-xPN78sxwCufFLCT9jQ??