Meta FAIR部門的研究員Fran?ois Fleuret發布了一篇名為《The Free Transformer》的論文，提出了一種對現有解碼器Transformer模型的精妙擴展。

這項技術的核心，是讓模型在生成每個字之前，能先在內部形成一個類似計劃或草稿的隱性決策，而不是像過去那樣，只能邊寫邊想。

實驗證明，這種先計劃，后執行的模式，在編程、數學和推理等任務上帶來了顯著的性能提升。

AI寫作的慣性困境

我們今天所熟知的解碼器Transformer，比如GPT系列，模型在生成一段話時，是逐字（token）進行的。它預測下一個字，完全依賴于它已經生成的所有前面的字。

假設我們想訓練一個模型來寫電影評論，評論有正面和負面兩種。

一個標準的解碼器Transformer當然可以學會寫這兩種評論。但它的工作方式是，一個字一個字地吐。它可能寫了幾個字之后，根據已經寫出的這部電影，來判斷接下來應該接很精彩還是很糟糕。

它并沒有一個全局的、預先的決定：我現在要寫一篇負面評論。這個負面或正面的概念，是隨著文字的生成，隱含在概率計算中的一種后續推斷。

這種模式存在幾個潛在的問題。

它需要模型具備非常大的容量和復雜的計算，才能從已經生成的零散詞語中，反推出一個全局的意圖，這很低效。

如果生成過程的早期，有幾個詞出現了偏差、模棱兩可或者前后矛盾，整個生成過程就可能跑偏，后面再也拉不回來。

關鍵的概念，比如正面或負面，不是模型主動構建的，而是在擬合訓練數據時被動形成的。這使得模型在面對分布外的數據時，可能表現得很脆弱。

Free Transformer讓模型擁有了自由意志

Free Transformer的核心思路是，在模型的自回歸生成過程中，引入一些額外的、不受訓練樣本直接控制的隨機變量，讓模型可以依據這些變量來調整生成。

回到電影評論的例子。模型可以先用一個內部的隨機布爾值，一次性決定接下來要生成的是一篇正面評論，還是一篇負面評論。

有了這個全局性的決策，模型就不再需要從已經生成的零散詞語中費力地推斷意圖。

實現這個想法，需要借助一種名為變分自編碼器（Variational Autoencoder，簡稱VAE）的框架。

在生成新內容時，過程很簡單：模型先采樣一個隨機變量Z，然后像普通的Transformer一樣，基于這個Z去生成整個序列。

挑戰在于訓練。我們希望模型學會將有意義的信息（比如評論的情感）編碼到Z里面。

這就需要一個編碼器（Encoder）。在訓練時，編碼器會讀取一個完整的訓練樣本（比如一篇已有的正面評論），然后生成一個與之匹配的Z。解碼器（Decoder）再利用這個Z，嘗試去重建原始的評論。

通過聯合優化編碼器和解碼器，模型就學會了如何將序列的全局屬性（情感、主題等）壓縮進Z，并利用Z來指導生成。

這里有一個關鍵點：必須限制從編碼器流向Z的信息量。否則，編碼器可能會耍小聰明，直接把整個原文復制到Z里，解碼器就可以躺平了。這在訓練時看起來很完美，但在實際生成時，沒有了編碼器，模型就什么也做不了。

VAE理論通過計算Z的分布與一個標準先驗分布之間的KL（Kullback-Leibler）散度來控制信息量，并將其作為一個懲罰項加入到總的損失函數中。

Free Transformer的結構設計非常巧妙。它不是一個全新的模型，而是對標準解碼器Transformer的微小改造。

它將隨機噪聲Z注入到模型的中間層。

更妙的是，編碼器直接復用了模型的前半部分網絡層，只增加了一個額外的、非因果的Transformer塊和兩個線性層。

非因果意味著這個塊可以同時看到整個輸入序列，這對于捕捉全局信息至關重要。

這種設計，對于一個28層的1.5B模型，額外開銷大約是1/28，約等于3.6%。對于一個32層的8B模型，開銷約為1/32，即3.1%。

用約3%的計算開銷，帶來大幅性能提升，這幾乎是免費的午餐。

實驗證明了它的有效性

為了驗證Free Transformer是否真的學會了利用潛變量Z，研究人員設計了一個巧妙的合成數據集。

每個數據樣本的生成規則如下：

• 以64個下劃線_開始。
• 隨機選一個大寫字母，在序列的隨機位置，用8個該字母組成的目標替換掉下劃線。
• 以很小的概率，將任意字符替換為感嘆號，作為噪聲。
• 在末尾附上一個提示，比如 a>，告知目標字母是什么。

研究人員用這個數據集訓練了模型，并設置了不同的KL散度閾值（κ），這個閾值控制了模型可以往Z里塞入多少信息。

結果非常直觀。

當KL閾值很低時，模型幾乎不使用Z，表現和普通Transformer一樣（圖左上）。所有生成的序列都各不相同。

當閾值稍微提高，模型開始將目標的位置信息編碼到Z中。在圖右上的綠色框里，所有序列共享同一個Z，它們的目標都出現在了相同的位置。

當閾值進一步提高，模型不僅編碼了位置，還編碼了噪聲（感嘆號）的模式。圖左下的綠色框里，不僅目標位置一樣，連感嘆號出現的位置都完全一樣。

當閾值過高時，模型開始作弊，把整個序列的信息都塞進了Z，導致生成出錯（圖右下）。

這個實驗清晰地證明，Free Transformer學會了根據任務需求，自主地將最關鍵的全局信息（目標位置、噪聲模式）打包到潛變量Z中。

接下來是真實世界的基準測試。研究人員使用了1.5B和8B兩種規模的模型，與結構相同的標準解碼器Transformer進行對比。

為了保證公平，所有超參數都沿用基線模型的設置，沒有為Free Transformer做特殊優化。

結果顯示，在HumanEval+（代碼生成）、MBPP（代碼生成）和GSM8K（小學數學應用題）這些需要推理能力的基準上，Free Transformer取得了顯著的性能提升。

在8B模型上，當每個token允許引入半比特信息時，性能提升最為明顯。

為了驗證這種改進在更大規模的訓練下是否依然存在，研究團隊用1T（萬億）級別的token訓練了8B模型。

結果再次證實了之前的發現。無論是在訓練結束時還是在訓練后期的平均性能上，Free Transformer在推理、數學和多項選擇問答任務上都穩定地優于基線模型。

這項工作意味著什么

Free Transformer用一種極為高效的方式，對標準解碼器Transformer的歸納偏置（inductive bias）進行了改進。

它讓模型有能力無監督地學習數據中存在的潛在結構，并利用這些結構來指導內容生成。

在某種意義上，這與思維鏈（Chain-of-Thought）或強化學習中的推理模型（如DeepSeek-R1）有異曲同工之妙。后者是在token層面，通過顯式的文本來進行推理；而Free Transformer則是在模型的潛在空間（latent space），通過自編碼的方式，進行一種更底層的、隱式的規劃。

將這兩種方法結合起來，無疑是一個充滿潛力的研究方向。

這項工作僅僅是一個開始。研究人員指出，模型的訓練過程有時不穩定，這可能是編碼器和解碼器優化過程耦合導致的，未來可以探索不同的優化策略。隨機嵌入Z的形式也可以有多種選擇。

它在更大規模的模型和數據集上的表現，仍有待進一步探索。

這項研究給我們的啟示是，即使在Transformer架構已經非常成熟的今天，對其核心的自回歸機制進行微小而深刻的改造，依然能帶來意想不到的性能飛躍。

AI不僅在學習如何說話，更在學習如何思考。