AI時代，數據就是新的石油。全球人類數據逐漸枯竭的時代，合成數據是我們的未來嗎？

最近Nature封面一篇論文引起的風波，讓我們明白：重要的并不是「合成數據」，而是「正確使用合成數據」。

本周四，牛津、劍橋、帝國理工、多倫多大學等機構的一篇論文登上了Nature封面。

他們提出了AI的「近親繁殖」問題，即如果在訓練中不加區別地只用AI產生的內容，就會發生模型崩潰。

不過，讓人沒想到的是，論文一經刊出便引發了AI社區的大量討論。

一些人認為，問題的核心不在「合成數據」上，而是在「數據質量」上。

即使全部用的是人工數據，如果質量太差，那結果一樣也是「垃圾進垃圾出」。

甚至，有人覺得研究者故意采用了與實際操作不匹配的方法，實際上是在「嘩眾取寵」。

對此，馬毅教授表示，如今我們已經走進了缺少科學思想和方法的時代——

許多研究，不過都是重新發現一些科學常識。

如何避免模型崩潰？

那么問題來了，在使用AI合成數據時，如何才能避免發生模型崩潰呢？

混合數據才是未來

對于這篇Nature封面的文章，Scale AI的CEO Alexandr Wang深表贊同。

他表示，利用純合成數據來訓練模型，是不會帶來信息增益的。

通常，當評估指標因「自蒸餾」（self-distillation）而上升時，大概率是因為一些更隱蔽的權衡：

• 合成數據可以在短期內提升評估結果，但之后你會為模型崩潰付出代價
• 你在訓練或微調模型過程中積累了隱形的債務，而這些債務將很難償還

具體而言，在連續幾代的合成訓練中，錯誤主要來自三個方面：

• 統計近似誤差（statistical approximation error）
• 功能表達誤差（functional expressivity error）
• 功能近似誤差（functional approximation error）

也就是，每次你用上一個模型生成的數據來訓練新模型時，都會丟失一些信息和精度，導致模型變得越來越空洞，最終無法正常工作。

雖然這些實驗是在小規模模型（100M參數）上進行的，但觀察到的基本效應也會隨著時間的推移在更大規模的模型上出現。

例如，今天的大多數模型無法生成像Slate Star Codex風格的博客文章，這也是由于模型崩潰的原因。隨著我們連續訓練模型，它們逐漸失去了在廣泛分布上進行預測的能力。

在Wang看來，混合數據（Hybrid Data）才是未來的發展方向，它能夠避免所有與模型崩潰相關的棘手問題。

也就是說，在合成數據的過程中，必須通過某種新的信息來源來生成：

（1）使用真實世界數據作為種子

（2）人類專家參與

（3）形式邏輯引擎

相比之下，那些不慎使用了無信息增益的合成數據來訓練模型的開發者，終將會發現他們的模型隨著時間的推移變得越來越奇怪和愚蠢。

強化學習is all you need

來自Meta、紐約大學和北京大學的研究人員，提出了一種通過人類或較弱模型的「排序-修剪反饋」方法，可以恢復甚至超越模型原來的性能。

對于這項研究，LeCun也進行了轉發，表示支持。

眾所周知，不管是對于人類還是機器來說，區分一個示例的好壞，要遠比從頭生成一個高質量的樣本容易得多。

基于此，作者提出了一種全新的方法——通過合成數據反饋來防止模型崩潰。

論文地址：https://arxiv.org/abs/2406.07515

為了研究這個問題，作者首先在理論環境中提供了分析結果。

在這里，作者提出了高維極限下的高斯混合模型和線性模型作為分類器，并讓一個驗證者（例如人類或oracle）來選擇或修剪生成的數據。

結果顯示，當合成數據點的數量趨于無限時，基于選定數據訓練的模型可以達到與原始數據訓練相媲美的最佳結果。

在合成數據上的模擬顯示，與使用原始標注相比，oracle監督始終能產生接近最佳的結果。

此外，由于通過人類監督來分辨高質量數據比直接人類標注更簡單且成本更低，這為人類參與監督的有效性提供了有力的證據。

一個具有線性生成器和線性剪枝器的高斯混合模型：其中的剪枝器通過選擇強化合成數據來提高性能

接下來，作者進行了兩個大規模的實驗：

1. 在算術任務（矩陣特征值預測）上訓練Transformer，并使用與真實值的距離來修剪大量合成數據

2. 使用大語言模型（Llama 2）和有限的合成數據進行新聞摘要

結果顯示，在這兩種情況下，僅依賴生成數據會導致性能下降，即使數據量增加，也會出現模型崩潰。

并且，僅根據困惑度從生成池中選擇最佳解決方案并不會提升性能，即模型本身缺乏基于困惑度選擇最佳預測的能力。

相反，在oracle監督下，可以獲得一個基于反饋增強的合成數據集，其性能隨著數據量的增加而超過了原始數據集。

通過人類和模型的強化，可以提升性能并防止模型崩潰；而在沒有強化的情況下則會出現性能下降

因此，在用合成數據訓練新模型時，不僅要關注生成器的質量，還需要一個高質量的驗證者來選擇數據。

一句話總結就是：reinforcement is all you need！

真實數據+合成數據

對于讀者們對于這篇Nature封面論文的吐槽，斯坦福大學的博士生Rylan Schaeffer表示理解。

他指出，模型崩潰通常出現在研究人員故意采用與實際操作不匹配的方法時。

數據積累可以崩潰，也可以不崩潰，這完全取決于具體的操作細節。

你們故意把它弄崩潰，它當然就會崩潰了。??

在這篇斯坦福、馬里蘭和MIT等機構合著的論文中，Schaeffer研究了積累數據對模型崩潰有何影響。

經過實驗后他們確認，用每一代的合成數據替換原始的真實數據，確實會導致模型崩潰。

但是，如果將連續幾代的合成數據與原始的真實數據一起積累，可以避免模型崩潰。

論文地址：https://arxiv.org/abs/2404.01413

在實踐中，后代LLM會隨著時間推移，在不斷增加的數據中進行訓練，比如Llama 1需要1.4萬億個token，Llama 2需要2萬億個token，Llama 3需要15萬億個token。

從某種意義上說，這種數據積累設定是極其悲觀的——

在這個假設的未來中，合成數據被不受控制地傾倒在互聯網上，用于訓練模型的下一次迭代。

如圖右側所示，積累數據可以避免模型崩潰

研究者使用了因果Transformer、擴散模型和自變分編碼器三種不同的實驗設置，分別在真實文本、分子構象和圖像數據集上進行了訓練。

他們發現，替換數據會導致所有模型和所有數據集的模型崩潰，而積累數據可以避免模型崩潰。

基于Tranformer的因果語言建模

首先，他們在文本數據上訓練了因果Transformer。

具體來說，就是在TinyS-tories上預訓練了單個epoch的9M參數GPT-2和 12M、42M和125M參數的Llama 2語言模型。

前者是一個470M token的，GPT-3.5/4生成的幼兒園閱讀水平的短篇故事數據集。

對于每次模型擬合迭代n≥2，研究者會從上一次迭代的語言型中采樣一個與TinvStories大小相同的新數據集，然后用新生成的數據集替換或連接以前的數據集。

在每次模型擬合迭代中，他們會來自上一次迭代的替換或串聯數據集來預訓練一個新的初始化模型。

結果顯示，對于所有架構、參數計數和采樣溫度，隨著模型擬合迭代次數的增加，替換數據會導致測試交叉熵的增加（圖2左）。

同時他們還發現，對于所有架構、參數計數和采樣溫度，隨著模型擬合迭代次數的增加，積累的數據會導致測試交叉熵等于或更低（圖2右）。

圖3是重復替換數據（頂部）和積累數據（底部）時各個模型擬合迭代的學習曲線。

結果顯示，數據積累避免了語言建模中的模型崩潰。

125M的Llama2和9M的GPT-2，在替換數據（R）時都表現出了質量下降，但在積累數據（A）時，卻保持了高質量的文本生成。

分子構象數據的擴散模型

接下來，他們在分子構象數據上訓練擴散模型序列。

具體來說，研究者在GEOMDrugs數據集上訓練了GeoDiff，這是一種用于分子構象生成的幾何擴散模型。

他們將GEOM-Drugs數據集的訓練部分下采樣到40,000個分子構象，將其用作初始訓練集，并為每個預測執行50個擴散步驟。

結果經過8次模型擬合迭代，研究者發現：替換數據時測試損失增加，這與我們的語言模型實驗相匹配，并且累積數據時測試損失保持相對恒定（圖4）。

與語言模型不同，他們發現，當替換數據時，在合成數據訓練的第一次模型擬合迭代中，性能會顯著惡化，并且在后續迭代中不會進一步大幅下降。

圖像數據的自變分編碼器

實驗最后，研究者在CelebA上訓練了自變分編碼器（VAE）序列，該數據集包含了20萬張人臉圖像，分為訓練集和測試集。

這種選擇，在具有許多樣本、彩色圖像和分辨率的現實數據集，和在累積數據上訓練模型多次迭代的計算可行性之間，達到了平衡。

結果他們發現，在每次迭代中替換數據再次表現出模型崩潰——

測試誤差會隨著每次額外的迭代而迅速上升，并且每次迭代產生的質量較低且生成的面孔多樣性較少，直到所有模型生成都代表單一模式。

相比之下，在每次迭代中，積累數據會顯著減緩模型崩潰——

隨著每次額外的迭代，測試誤差的增加速度顯著減慢。

雖然與圖6的中圖和右圖相比，世代的多樣性確實下降了，它仍然代表數據集中變化的主要軸，例如性別，但模型似乎不再沿著數據流形的更短軸生成其他細節，例如眼鏡和配件。

還有一個有趣的現象是，與語言建模不同，積累數據的測試誤差確實會隨著迭代次數的增加而增加（盡管比替換數據慢得多）。

為什么會存在這種差異？這個研究方向就留給未來了。