這里介紹的是論文(Understanding the Role of Training Data in Test-Time Scaling)的內(nèi)容：你是否好奇，為什么有時(shí)候讓大模型"多想一會(huì)兒"能得到更好的答案，而有時(shí)候反而會(huì)越想越錯(cuò)?OpenAI的o3和DeepSeek R1展示了驚人的推理能力，它們的秘密就在于測(cè)試時(shí)擴(kuò)展(test-time scaling)——給模型更多時(shí)間去"思考"。但什么樣的訓(xùn)練數(shù)據(jù)才能讓這種"慢思考"真正有效?

圖片

什么是測(cè)試時(shí)擴(kuò)展：傳統(tǒng)的AI模型接收問題后會(huì)立即給出答案。而測(cè)試時(shí)擴(kuò)展讓模型生成更長的思維鏈(Chain-of-Thought， CoT)，就像人類解決復(fù)雜問題時(shí)會(huì):

?把問題分解成多個(gè)步驟

?嘗試不同的解決路徑

?發(fā)現(xiàn)錯(cuò)誤后回溯修正

關(guān)鍵是，這一切都發(fā)生在推理階段，無需改變模型參數(shù)。

圖片

核心發(fā)現(xiàn)：論文通過理論分析和實(shí)驗(yàn)，揭示了訓(xùn)練數(shù)據(jù)與測(cè)試時(shí)推理之間的微妙關(guān)系:

（1）訓(xùn)練數(shù)據(jù)可以"省著用"：實(shí)驗(yàn)表明:在保持相同測(cè)試誤差的前提下，增加推理步數(shù)就能減少訓(xùn)練時(shí)需要的示例數(shù)量。這意味著我們可以用更少的訓(xùn)練數(shù)據(jù)，通過在推理階段投入更多計(jì)算來達(dá)到同樣的效果。

（2）"過度思考"的陷阱：并非所有情況下，思考得越久越好。研究發(fā)現(xiàn)了一個(gè)反直覺的現(xiàn)象:當(dāng)訓(xùn)練數(shù)據(jù)中缺少解決目標(biāo)任務(wù)所需的某些"技能"時(shí)，增加推理步數(shù)反而會(huì)降低性能。

想象一下，如果訓(xùn)練數(shù)據(jù)主要包含代數(shù)問題，但測(cè)試時(shí)需要解決幾何問題，那么讓模型"深度思考"可能會(huì)讓它在錯(cuò)誤的方向上越走越遠(yuǎn)。研究團(tuán)隊(duì)將這種現(xiàn)象稱為"過度思考"(overthinking)。

（3）任務(wù)難度的數(shù)學(xué)定義：論文提出了一個(gè)優(yōu)雅的任務(wù)難度度量:

圖片

這里Λ是特征協(xié)方差矩陣。簡(jiǎn)單來說:

?簡(jiǎn)單任務(wù):依賴少數(shù)幾個(gè)主要技能(類似于只需要加減法)

?困難任務(wù):需要眾多技能且分布不均(類似于綜合運(yùn)用代數(shù)、幾何、邏輯等)

圖片

如何選擇訓(xùn)練任務(wù)?：基于理論分析，研究團(tuán)隊(duì)提出了訓(xùn)練數(shù)據(jù)選擇的三個(gè)原則:

(1)多樣性(Diversity)：訓(xùn)練數(shù)據(jù)必須覆蓋足夠廣泛的技能方向。如果某些測(cè)試時(shí)需要的技能在訓(xùn)練中從未出現(xiàn)，模型將無法有效推理。

(2)相關(guān)性(Relevance)：選擇與目標(biāo)任務(wù)密切相關(guān)的訓(xùn)練數(shù)據(jù)。不相關(guān)的數(shù)據(jù)不僅浪費(fèi)資源，還可能干擾模型學(xué)習(xí)。

(3)難度(Hardness)：當(dāng)目標(biāo)任務(wù)困難時(shí)，應(yīng)該選擇困難的訓(xùn)練任務(wù)。實(shí)驗(yàn)表明，在困難任務(wù)上訓(xùn)練的模型，在測(cè)試時(shí)擴(kuò)展中表現(xiàn)更好。研究證明，至少50%的訓(xùn)練概率應(yīng)分配給困難任務(wù)。

論文揭示了一個(gè)有趣的機(jī)制:訓(xùn)練好的模型在測(cè)試時(shí)進(jìn)行思維鏈推理，實(shí)際上是在執(zhí)行偽牛頓法(pseudo-Newton's method)來優(yōu)化預(yù)測(cè)。每一步思考都在迭代改進(jìn)答案，就像人類逐步接近問題的正確解。

這解釋了為什么:

?足夠的訓(xùn)練覆蓋讓模型知道"朝哪個(gè)方向優(yōu)化"

?更多的推理步數(shù)相當(dāng)于"走更多步到達(dá)目標(biāo)"

?訓(xùn)練數(shù)據(jù)覆蓋不足會(huì)讓模型"走向錯(cuò)誤的方向"

論文的重要啟示:

1.訓(xùn)練策略: 不必盲目追求海量訓(xùn)練數(shù)據(jù)，而應(yīng)關(guān)注數(shù)據(jù)的多樣性、相關(guān)性和難度

2.資源分配: 可以在訓(xùn)練效率和推理成本之間找到最優(yōu)平衡點(diǎn)

3.問題診斷: 當(dāng)模型表現(xiàn)不佳時(shí)，可以檢查是訓(xùn)練數(shù)據(jù)覆蓋不足還是推理深度不夠

本文轉(zhuǎn)載自??AI帝國??，作者：無影寺