讓 OpenAI 創建的圖像生成系統 DALL·E 2 繪制一幅「金魚在海灘上啜飲可口可樂」的圖畫，它會吐出超現實的圖像。該程序在訓練期間會遇到海灘、金魚和可口可樂的圖像，但它不太可能看到三者同時出現的圖像。然而，DALL·E 2 可以將這些概念組合成可能讓達利感到自豪的東西。

DALL·E 2 是一種生成模型——一種嘗試使用訓練數據生成在質量和多樣性方面可與數據相媲美的新事物的系統。這是機器學習中最困難的問題之一，到達這一點是一段艱難的旅程。

第一個重要的圖像生成模型使用了一種稱為神經網絡的人工智能方法——一種由多層計算單元組成的程序，稱為人工神經元。但即使他們的圖像質量變得更好，模型也被證明不可靠且難以訓練。與此同時，一個強大的生成模型——由一位對物理學充滿熱情的博士后研究員創建——處于休眠狀態，直到兩名研究生取得技術突破，使這只野獸復活。

DALL·E 2 就是這樣一頭野獸。使 DALL·E 2 的圖像以及其競爭對手 Stable Diffusion 和 Imagen 的圖像成為可能的關鍵洞察力來自物理學世界。支撐它們的系統被稱為擴散模型，在很大程度上受到非平衡熱力學的啟發，非平衡熱力學支配著流體和氣體擴散等現象。「有很多技術最初是由物理學家發明的，現在在機器學習中非常重要，」OpenAI 的機器學習研究員 Yang Song 說。

這些模型的力量震撼了行業和用戶。「對于生成模型來說，這是一個激動人心的時刻，」加州理工學院計算機科學家、英偉達機器學習研究高級主管 Anima Anandkumar 說。

她說，雖然擴散模型創建的逼真圖像有時會延續社會和文化偏見，但「我們已經證明，生成模型對下游任務很有用，[這些]提高了預測人工智能模型的公平性。」

高概率

為了理解如何為圖像創建數據，讓我們從僅由兩個相鄰灰度像素組成的簡單圖像開始。我們可以根據每個像素的陰影（從 0 為全黑到 255 為全白）用兩個值來完整描述此圖像。您可以使用這兩個值將圖像繪制為二維空間中的一個點。

如果我們將多個圖像繪制為點，則可能會出現聚類——某些圖像及其對應的像素值比其他圖像更頻繁地出現。現在想象平面上方有一個曲面，曲面的高度對應于簇的密度。該曲面繪制出概率分布。你最有可能在曲面最高部分下方找到單個數據點，在表面的最低部分下面很少找到數據點。

DALL·E 2 制作了這些「金魚在海灘上啜飲可口可樂」的圖像。這個由 OpenAI 創建的程序可能從未遇到過類似的圖像，但仍然可以自行生成它們。

現在你可以使用此概率分布來生成新圖像。你需要做的就是隨機生成新的數據點，同時遵守更頻繁地生成更多可能數據的限制——這個過程稱為「采樣」分布。每個新點都是一個新圖像。

同樣的分析適用于更逼真的灰度照片，例如每張一百萬像素。只是現在，繪制每個圖像需要的不是兩個軸，而是一百萬個。此類圖像的概率分布將是一些復雜的百萬加一維曲面。如果你對該分布進行采樣，你將產生一百萬個像素值。將這些像素打印在一張紙上，圖像很可能看起來像原始數據集中的照片。

生成建模的挑戰是為構成訓練數據的某些圖像集學習這種復雜的概率分布。該分布之所以有用，部分原因是它捕獲了有關數據的廣泛信息，部分原因是研究人員可以結合不同類型數據（例如文本和圖像）的概率分布來構成超現實的輸出，例如金魚在海灘上啜飲可口可樂。「你可以混合和匹配不同的概念……以創建訓練數據中從未見過的全新場景，」Anandkumar 說。

2014 年，一種稱為生成對抗網絡 (GAN) 的模型成為第一個生成逼真圖像的模型。「太激動了，」Anandkumar 說。但是 GAN 很難訓練：它們可能無法學習完整的概率分布，并且可能只能從分布的一個子集生成圖像。例如，在各種動物圖像上訓練的 GAN 可能只生成狗的圖片。

機器學習需要一個更強大的模型。Jascha Sohl-Dickstein 的工作受到物理學的啟發，他將提供一個答案。

Jascha Sohl-Dickstein。

興奮的斑點

在 GAN 發明前后，Sohl-Dickstein 是斯坦福大學的一名博士后，研究生成模型，對非平衡熱力學也有興趣。物理學的這個分支研究不處于熱平衡狀態的系統——那些在內部以及與環境交換物質和能量的系統。

一個說明性的例子是一滴藍色墨水通過一個水容器擴散。起初，它在一個地方形成一個黑色的斑點。此時，如果你想計算在容器的某個小體積中找到墨水分子的概率，你需要一個概率分布來清晰地模擬墨水開始擴散之前的初始狀態。但這種分布很復雜，因此很難從中抽樣。

然而，最終，墨水擴散到整個水中，使水變成淡藍色。這可以用簡單的數學表達式描述的更簡單、更均勻的分子概率分布。非平衡熱力學描述了擴散過程中每一步的概率分布。至關重要的是，每一步都是可逆的——通過足夠小的步驟，你可以從一個簡單的分布返回到一個復雜的分布。

Jascha Sohl-Dickstein 基于擴散原理創建了一種新的生成建模方法。——Asako Miyakawa

Sohl-Dickstein 使用擴散原理開發了生成建模算法。這個想法很簡單：該算法首先將訓練數據集中的復雜圖像轉化為簡單的噪聲——類似于從一滴墨水變成漫射淡藍色的水——然后教系統如何反轉這個過程，將噪聲轉化為圖像。

這是它的工作原理。首先，該算法從訓練集中獲取圖像。和以前一樣，假設百萬像素中的每一個都有一些值，我們可以將圖像繪制為百萬維空間中的一個點。該算法在每個時間步向每個像素添加一些噪聲，相當于墨水在一個小時間步后的擴散。隨著這個過程的繼續，像素值與它們在原始圖像中的值的關系越來越小，像素看起來更像是一個簡單的噪聲分布。（該算法還在每個時間步將每個像素值向原點微移一點點，即所有這些軸上的零值。這種微移可以防止像素值變得太大以至于計算機無法輕松處理。）

對數據集中的所有圖像執行此操作，百萬維空間中點的初始復雜分布（無法輕易描述和采樣）變成圍繞原點的簡單、正態分布的點。

Sohl-Dickstein 說：「轉換序列非常緩慢地將你的數據分布變成一個大噪音球。」 這個「正向過程」為你提供了一個可以輕松采樣的分布。

接下來是機器學習部分：為神經網絡提供從正向傳遞中獲得的噪聲圖像，并訓練它預測更早一步出現的噪聲較小的圖像。一開始它會出錯，所以你調整網絡的參數，讓它做得更好。最終，神經網絡可以可靠地將代表簡單分布樣本的噪聲圖像一直轉換為代表復雜分布樣本的圖像。

經過訓練的網絡是一個成熟的生成模型。現在你甚至不需要原始圖像來進行正向傳遞：你有簡單分布的完整數學描述，所以你可以直接從中采樣。神經網絡可以將這個樣本——本質上只是靜態的——變成類似于訓練數據集中圖像的最終圖像。

Sohl-Dickstein 回憶起他的擴散模型的第一個輸出。「你會瞇著眼睛說，[我認為那個彩色斑點看起來像一輛卡車，]」他說。「我花了很多個月的時間盯著不同的像素模式，試圖看到我喜歡的結構，[這比我以前得到的更有條理。] 我非常興奮。」

展望未來

Sohl-Dickstein 在 2015 年發表了他的擴散模型算法，但仍然遠遠落后于 GAN 的能力。雖然擴散模型可以對整個分布進行采樣，并且永遠不會只吐出圖像的一個子集，但圖像看起來更糟，而且過程太慢了。「我認為當時這并不令人興奮，」Sohl-Dickstein 說。

論文地址：?https://doi.org/10.48550/arXiv.1503.03585?

需要兩名既不了解 Sohl-Dickstein 也不了解對方的學生，才能將最初工作中的點點滴滴與 DALL·E 2 等現代擴散模型聯系起來。第一個是 Song，當時他是斯坦福大學的博士生。2019 年，他和他的導師發表了一種構建生成模型的新方法，該方法不估計數據（高維表面）的概率分布。相反，它估計了分布的梯度（將其視為高維表面的斜率）。

Yang Song 幫助提出了一種通過訓練網絡有效地解讀嘈雜圖像來生成圖像的新技術。

Song 發現，如果他首先用增加的噪聲水平擾動訓練數據集中的每張圖像，然后讓他的神經網絡使用分布梯度預測原始圖像，從而有效地對其進行去噪，他的技術效果最好。一旦經過訓練，他的神經網絡就可以從簡單的分布中抽取噪聲圖像，并逐步將其轉換回代表訓練數據集的圖像。圖像質量很好，但他的機器學習模型采樣速度非常慢。而且他在不了解 Sohl-Dickstein 的工作的情況下做到了這一點。「我根本不知道擴散模型，」Song 說。「在我們 2019 年的論文發表后，我收到了 Jascha 發來的電子郵件。他向我指出，[我們的模型] 有著非常緊密的聯系。」

2020 年，第二名學生看到了這些聯系，并意識到 Song 的工作可以改進 Sohl-Dickstein 的擴散模型。Jonathan Ho 最近在加州大學伯克利分校完成了生成建模方面的博士研究，但他仍在繼續研究。「我認為這是機器學習中數學上最美麗的分支學科，」他說。

Ho 利用 Song 的一些想法和神經網絡領域的其他進展重新設計和更新了 Sohl-Dickstein 的擴散模型。「我知道為了引起社區的注意，我需要讓模型生成漂亮的樣本，」他說。「我確信這是我當時能做的最重要的事情。」

他的直覺是正確的。Ho 和他的同事在 2020 年的一篇題為「去噪擴散概率模型」的論文中宣布了這種新的和改進的擴散模型。它很快成為一個里程碑，以至于研究人員現在將其簡稱為 DDPM。根據一項圖像質量基準——將生成圖像的分布與訓練圖像的分布進行比較——這些模型匹配或超過了所有競爭生成模型，包括 GAN。沒過多久，大公司就注意到了這一點。現在，DALL·E 2、Stable Diffusion、Imagen 和其他商業模型都使用了 DDPM 的一些變體。

Jonathan Ho 和他的同事結合了 Sohl-Dickstein 和 Song 的方法，使現代擴散模型成為可能，例如 DALL·E 2。

現代擴散模型還有一個關鍵要素：大型語言模型 (LLM)，例如 GPT-3。這些是基于互聯網文本訓練的生成模型，用于學習單詞而不是圖像的概率分布。2021 年，Ho（現在是一家隱形公司的研究科學家）和他在 Google Research 的同事 Tim Salimans 以及其他地方的其他團隊展示了如何將來自 LLM 和圖像生成擴散模型的信息結合起來使用文本（例如， 「金魚在海灘上啜飲可口可樂」）來指導擴散過程，從而引導圖像生成。這種「引導擴散」過程是文本到圖像模型成功的背后原因，例如 DALL·E 2。

「它們遠遠超出了我最瘋狂的期望，」Ho 說。「我不會假裝我看到了這一切。」

產生問題

盡管這些模型非常成功，但 DALL·E 2 及其同類產品的圖像仍遠非完美。大型語言模型可以在它們生成的文本中反映文化和社會偏見，例如種族主義和性別歧視。那是因為他們接受了從互聯網上摘錄的文本的訓練，而且這些文本通常包含種族主義和性別歧視的語言。在此類文本上學習概率分布的 LLM 充滿了相同的偏見。擴散模型也在從互聯網上獲取的未經整理的圖像上進行訓練，這些圖像可能包含類似的有偏見的數據。難怪將法學碩士與當今的傳播模型相結合有時會產生反映社會弊病的圖像。

Anandkumar 有親身經歷。當她嘗試使用基于擴散模型的應用程序生成自己的風格化頭像時，她感到震驚。「這么多 [許多] 圖像都被高度性感化了，」她說，「而它呈現給男性的東西卻并非如此。」 她并不孤單。

可以通過整理和過濾數據（考慮到數據集的龐大性，這是一項極其困難的任務）或通過檢查這些模型的輸入提示和輸出來減少這些偏差。「當然，沒有什么能代替仔細和廣泛的安全測試」一個模型，Ho 說。「這對該領域來說是一個重要的挑戰。」

盡管存在這些顧慮，Anandkumar 仍然相信生成建模的力量。「我真的很喜歡 Richard Feynman 的名言：[我無法創造的東西，我不理解，] 」她說。加深的理解使她的團隊能夠開發生成模型，例如，生成用于預測任務的代表性不足的類別的合成訓練數據，例如用于面部識別的較深膚色，有助于提高公平性。生成模型還可以讓我們深入了解我們的大腦如何處理嘈雜的輸入，或者它們如何喚起心理意象并考慮未來的行動。構建更復雜的模型可以賦予人工智能類似的能力。

Anandkumar 說：「我認為，我們才剛剛開始探索生成式人工智能的可能性。」