只需50美元！最簡(jiǎn)單的推理擴(kuò)展方案，效果媲美o1！
這個(gè)工作目標(biāo)是，找到一種簡(jiǎn)單的方法，可以實(shí)現(xiàn)test-time scalling。
關(guān)鍵點(diǎn)有2個(gè)，構(gòu)建高質(zhì)量的監(jiān)督數(shù)據(jù)1k，用于監(jiān)督微調(diào)；一個(gè)Budget Forcing的方法，用于限定模型的推理過程。
經(jīng)過這么一折騰，模型的性能隨著推理token數(shù)量變長(zhǎng)而編號(hào)。
- 如何構(gòu)建高質(zhì)量的1k數(shù)據(jù)
- 初始收集：從 16 個(gè)不同的來源收集了 59,029 個(gè)問題，包括 NuminaMATH、AIME、OlympicArena、OmniMath、AGIEval 等。
- 最終篩選：通過質(zhì)量、難度和多樣性三個(gè)標(biāo)準(zhǔn)，從 59K 個(gè)問題中篩選出 1,000 個(gè)樣本。具體步驟包括：
質(zhì)量：去除格式錯(cuò)誤或低質(zhì)量的樣本。
難度：根據(jù)模型性能和推理長(zhǎng)度評(píng)估問題難度，去除模型能正確解答的問題。
多樣性：使用 Claude 3.5 Sonnet 將問題分類到不同的領(lǐng)域，確保樣本覆蓋廣泛的學(xué)科。
- Budget Forcing （通過在測(cè)試時(shí)強(qiáng)制設(shè)定最大或最小思考 token 數(shù)量來控制模型的推理過程）
強(qiáng)制最大思考 token 數(shù)量：如果模型生成的思考 token 超過設(shè)定的上限，強(qiáng)制結(jié)束思考過程，并追加“Final Answer:”以提供當(dāng)前最佳答案。
強(qiáng)制最小思考 token 數(shù)量：如果模型試圖結(jié)束思考過程，抑制思考結(jié)束 token 的生成，并在當(dāng)前推理軌跡后追加“Wait”，鼓勵(lì)模型繼續(xù)思考。
消融實(shí)驗(yàn)：
數(shù)據(jù)量、多樣性和難度：通過隨機(jī)選擇、僅選擇最長(zhǎng)推理軌跡或僅最大化多樣性來構(gòu)建數(shù)據(jù)集，測(cè)試結(jié)果表明這些方法的性能均低于結(jié)合質(zhì)量、難度和多樣性的方法。
測(cè)試時(shí)擴(kuò)展方法：比較了Budget Forcing、條件長(zhǎng)度控制和拒絕采樣等方法，發(fā)現(xiàn)Budget Forcing在控制性和性能上表現(xiàn)最佳。
最后，整個(gè)過程證明了通過簡(jiǎn)單的測(cè)試時(shí)擴(kuò)展方法，使用少量數(shù)據(jù)即可實(shí)現(xiàn)強(qiáng)大的推理性能。s1-32B 模型在多個(gè)基準(zhǔn)測(cè)試中表現(xiàn)出色，超越了閉源模型如 OpenAI 的 o1-preview。
本文轉(zhuǎn)載自??NLP前沿??，作者： 獼猴桃
