這幾個月以來，我們已經(jīng)見證了大型語言模型（LLM）在生成高質(zhì)量文本和解決眾多語言任務方面出色的能力。然而，LLM 又面臨這樣一個困境，即產(chǎn)生的輸出很大程度上與人類偏好并不一致。如果沒有適當?shù)膶R，語言模型可能輸出不安全的內(nèi)容。此外，對齊 LLM 還有助于改善下游任務。

有研究者提出基于人類反饋的強化學習 (RLHF)，通過使用人類偏好來解決對齊問題。

一般來講，RLHF 依賴于 PPO、A2C 等在線 RL 方法，但這些方法計算成本高昂且容易遭受打擊；雖然離線 RL 可以避免在線 RL 的缺陷，然而，離線學習的質(zhì)量過分依賴離線數(shù)據(jù)集的屬性。因此，精心策劃的數(shù)據(jù)集對離線強化學習來說非常重要。

本文，來自 Google DeepMind 的研究者提出了一種簡單的算法使 LLM 與人類偏好對齊，他們將該方法命名為 ReST（Reinforced Self-Training）。不同于 RLHF 使用人類反饋改進語言模型，ReST 通過生成和使用離線數(shù)據(jù)進行訓練，從而使得 LLM 與人類偏好保持一致。

給定一個初始 LLM 策略，ReST 能夠根據(jù)該策略生成數(shù)據(jù)集，然后該數(shù)據(jù)集基于離線 RL 算法被反過來提高 LLM 策略。ReST 比典型的在線 RLHF 方法更有效，因為訓練數(shù)據(jù)集是離線生成的，這允許數(shù)據(jù)重用。

研究團隊表示，雖然 ReST 可用于所有生成任務，但本文的重點是機器翻譯。結(jié)果表明，ReST 可以極大地提高翻譯質(zhì)量。

論文地址：https://arxiv.org/pdf/2308.08998.pdf

有研究者評論道：「DeepMind 展示了自然語言生成的迭代自我改進。他們將『人』從人類反饋強化學習 (RLHF) 循環(huán)中剔除，提出 ReST。」

下面那我們看具體實現(xiàn)方法。

方法介紹

該研究提出了一種稱為強化自訓練（Reinforced Self-Training，ReST）的 RLHF 算法，ReST 可將語言模型的輸出與人類偏好保持一致。人類對序列的偏好是使用學得的獎勵函數(shù)來建模的。ReST 算法將典型 RL pipeline 的數(shù)據(jù)集增長（Grow）和策略改進（Improve）解耦成兩個單獨的離線階段。

如下圖 1 所示，ReST 方法包括兩個循環(huán)：內(nèi)循環(huán)（Improve step）和外循環(huán)（Grow step）。并且與在線或離線 RL 的典型 RLHF 方法相比，ReST 具有以下優(yōu)勢：

• 與在線 RL 相比，ReST 由于在 Improve step 中利用了 Grow step 的輸出，因此計算負擔大大減少；
• 策略的質(zhì)量不在受原始數(shù)據(jù)集質(zhì)量的限制（如離線 RL），因為新的訓練數(shù)據(jù)是從 Grow step 中經(jīng)過采樣得到的；
• 檢查數(shù)據(jù)質(zhì)量并判斷對齊變得更加容易，因為 Improve step 和 Grow step 這兩個過程是解耦的；
• ReST 簡單、穩(wěn)定，并且只有少量的超參數(shù)需要調(diào)優(yōu)。

該研究首先訓練一個初始模型，在給定序列對數(shù)據(jù)集 D 的情況下，使用如下等式 (1) 中的 NLL 損失將輸入序列??映射到輸出序列??。

接下來，Grow 步驟會創(chuàng)建一個新的數(shù)據(jù)集 D_??，使用模型中的樣本來擴充初始訓練數(shù)據(jù)集：

其中，條件輸入是從原始數(shù)據(jù)集中重新采樣的，就像自訓練一樣；但在可以訪問 ??(??) 的情況下也可以直接從中采樣，即。例如，在文生圖模型中，文本輸入的分布可以從語言模型 ??(??) 中采樣。

然后，Improve 步驟使用 D_?? 來微調(diào)策略??_??。值得注意的是，該研究將原始數(shù)據(jù)集保留在訓練中，以確保策略不會發(fā)散。

整個 ReST 算法如下圖算法 1 所示，其中包含多個數(shù)據(jù)集增長和策略改進步驟：

實驗

研究者在機器翻譯任務上進行了實驗，測試基準包括 IWSLT 2014 、 WMT 2020 、 Web Domain 。

圖 3 繪制了帶有多個 Improve steps 的平均獎勵：可以看到，隨著 Improve steps 增加，翻譯模型在所有三個數(shù)據(jù)集上的性能都得到了提高。

增加 Grow step（G）能否提高獎勵模型的得分？帶著這一問題，研究者進行了另一項實驗。結(jié)果如圖 4 所示，帶有一個 Grow step 的方法在 IWSLT 2014 和 Web Domain 數(shù)據(jù)集上有所提高，當 Grow step 為 2 時，模型將得分從 77.8 提高到 80.5，提高了 5.3。

ReST 是否優(yōu)于監(jiān)督訓練？結(jié)果如圖 5 所示，即使在第一個 grow step 之后，ReST 的不同變體（紫色）也顯著優(yōu)于監(jiān)督學習（灰色）。

ReST 可以在推理時使用 Best-of-N 采樣進一步改進嗎？圖 6 展示了 BC（ behavioral cloning ）和 ReST 變體之間的 Best-of-N 抽樣結(jié)果。ReST 的性能隨著 ?? 和 Improve step 數(shù)量的增加而提高。得出 ReST 仍然可以從 Best-of-N 采樣中受益。

ReST 與在線 RL 相比如何？該研究將 ReST 與 PPO 進行了比較，PPO 是一種廣泛用于 RLHF 的在線 RL 算法。結(jié)果總結(jié)在表 1 中。

下圖表明，所有 ReST 變體在人類評分方面優(yōu)于 BC 方法：