論文分享，Reinforcement Learning for Reasoning in Large Language Models with One Training Example

這個論文看起來挺有意思，比較反常識，代碼開源：https://github.com/ypwang61/One-Shot-RLVR。

在Math500上，讓Qwen2.5-Math 1.5B 性能翻倍，從36%提升到73.6%。 讓Qwen2.5-Math 7B，從51% 提升到79.2%。

僅需要1個樣本進行強化學習訓練即可達到。如下圖，最終收斂跟藍色線（一個1000多個樣本的數據集）訓練出來的效果差不多。

那這個樣本到底是個什么神仙樣本呢？他們不是非常難的樣本，模型還是有可能答對正確步驟，并且實際正確答案可能存在一些誤差。

高端的算法往往只需要普通的選數據的方法。論文中就是看一下歷史訓練過程中，樣本準確率的波動情況，如果波動大，意味著這個樣本模型的不確定性高，就可以拿來作為 one-shot的樣本。

這個策略，在不同的模型，不同的強化學習算法上都是有效的，但是好像都是一些小模型。

訓練到最后，那個訓練樣本的推理過程有點混亂了。但是不影響評估集。

甚至只用一個entropy loss（意思是，只有一個鼓勵模型積極探索的約束。）訓練都有巨大的提升。

論文還有一些實驗，比如跨域表現也很好，模型推理過程中，會加大rethink之類的深度思考的詞匯頻率。

總的來說，沒有花里胡哨的方法。用一個訓練樣本就可以激活模型的推理能力，在各個任務上媲美大規模數據集訓練出來的模型。

本文轉載自???NLP前沿???，作者：NLP前沿