只要1/200的參數(shù)，就能讓大模型擁有和GPT-4一樣的數(shù)學(xué)能力？

來自復(fù)旦和上海AI實(shí)驗(yàn)室的研究團(tuán)隊，剛剛研發(fā)出了具有超強(qiáng)數(shù)學(xué)能力的模型。

它以Llama 3為基礎(chǔ)，參數(shù)量只有8B，卻在奧賽級別的題目上取得了比肩GPT-4的準(zhǔn)確率。

這款模型名為MCTSr，是將AlphaGo中用到的蒙特卡洛算法與Llama3結(jié)合而成。

它能用少量的數(shù)據(jù)實(shí)現(xiàn)和GPT-4等的相同效果，讓網(wǎng)友感嘆Q*成真了，小模型在數(shù)學(xué)上也能做的和GPT-4等著名模型一樣好。

就此又有網(wǎng)友表示，MCTSr能用極少的參數(shù)實(shí)現(xiàn)相同的效果，加上有時候訓(xùn)練收益隨規(guī)模遞減，表明架構(gòu)才是當(dāng)前AI的瓶頸，而不是運(yùn)算。

這樣的趨勢也讓人想起了AI算力霸主英偉達(dá)，開始思考規(guī)模化是不是不那么重要了，會不會利空老黃呢？

所以，MCTSr具體運(yùn)用了什么樣的方法呢？

將蒙特卡洛引入大模型

MCTSr名字里是MCT，指的就是蒙特卡洛樹（Monte Carlo Tree），而Sr則指的是自我完善（Self-Refine）。

蒙特卡洛樹又稱隨機(jī)抽樣或統(tǒng)計試驗(yàn)方法，是指一種使用重復(fù)隨機(jī)采樣生成合成模擬數(shù)據(jù)的近似方法，谷歌的圍棋機(jī)器人AlphaGo當(dāng)中也用到了這種方法。

名字中沒有體現(xiàn)的，是蒙特卡洛與大模型的結(jié)合，本項(xiàng)目當(dāng)中使用的是Llama 3-8B，同時MCTSr還引入了自我修正和自我評估的迭代過程。

在解答數(shù)學(xué)問題時，MCTSr中的大模型首先會像正常流程一樣生成初步答案（甚至可以是“我不知道”），但并不會直接作為輸出。

為了改進(jìn)這個初始答案，MCTSr算法會對其進(jìn)行評估和反饋，語言模型會被要求對答案進(jìn)行評價和批評，分析其中可能存在的問題。

然后大模型基于反饋進(jìn)行自我修正，產(chǎn)生一個新的答案，這個新版本會納入搜索樹中，成為一個新的子節(jié)點(diǎn)。

針對多個子節(jié)點(diǎn)，系統(tǒng)會進(jìn)行評分和獎勵采樣，計算出該節(jié)點(diǎn)的“Q值”（a表示答案節(jié)點(diǎn)，Ra表示a的獎勵樣本集合，|Ra|表示樣本數(shù)量），可以看出Q值的計算綜合考慮了節(jié)點(diǎn)在最壞情況和平均情況下的表現(xiàn)。

為了提高評估的可靠性，系統(tǒng)采用了嚴(yán)格的打分標(biāo)準(zhǔn)，并會進(jìn)行重復(fù)采樣，同時還采取了禁止模型給出滿分等策略。

然后基于Q值，MCTSr會使用改進(jìn)的UCB公式計算每個葉子節(jié)點(diǎn)的UCT值，選擇UCT值最高的節(jié)點(diǎn)進(jìn)行擴(kuò)展。

（UCB是一種實(shí)現(xiàn)總獎勵最大化的方式，UCT是將UCB策略應(yīng)用于樹形搜索問題的一種算法。）

計算UCT值的目的，是為了平衡了節(jié)點(diǎn)的平均獎勵和訪問頻率，避免單純追求高Q值導(dǎo)致的效率下降。

此外，作者修正的UCT計算公式中還引入了動態(tài)調(diào)整探索系數(shù)c，以便在搜索過程中適應(yīng)不同的問題復(fù)雜度，并在探索廣度和深度之間做出平衡。

被選中的節(jié)點(diǎn)，會通過大模型再次進(jìn)行自我修正，生成新的答案節(jié)點(diǎn)，然后再次進(jìn)行自我評估并計算Q值。

新的Q值會被并反向傳播到其父節(jié)點(diǎn)和祖先節(jié)點(diǎn)，確保了搜索樹中節(jié)點(diǎn)的質(zhì)量評估隨著搜索的進(jìn)行而不斷改進(jìn)。

根據(jù)新的Q值和訪問次數(shù)，各個節(jié)點(diǎn)的UCT值也會被重新計算。

接著，上述步驟會被不斷重復(fù)，直到滿足預(yù)設(shè)的終止條件，此時具有最高Q值的答案節(jié)點(diǎn)被視為問題的最優(yōu)解。

總的來說，通過蒙特卡洛搜索、自我完善與大模型的集合，MCTSr實(shí)現(xiàn)了數(shù)學(xué)問題最優(yōu)解的生成。

那么，這種方法的實(shí)際效果究竟如何呢？

成績不輸GPT-4和Claude-3

在測試當(dāng)中，作者一共使用了四種模型配置——零樣本思維鏈（CoT），以及1/4/8輪自我優(yōu)化的MCTSr，其中零樣本為對照組。

測試數(shù)據(jù)集包括MATH的5個level，GSM-8K和GSM-Hard，以及一系列奧賽級別的數(shù)據(jù)集——AIME、Math Odyssey 和OlympiadBench。

先看簡單一些的GSM和MATH。

從下表中可以看出，隨著自我優(yōu)化輪數(shù)是增多，模型取得的準(zhǔn)確率也在增加，經(jīng)過8輪之后，在GSM-8K上已經(jīng)達(dá)到了96.66%。

而Gemini（1.5Pro，下同）、Claude-3（Opus，下同）、GPT-4（Turbo，下同）的成績則分別是94.4、95和97.1，可以看出參數(shù)只有8B的MCTSr和這些先進(jìn)模型不相上下。

同樣在MATH上，無論是整體還是細(xì)分的五個難度等級，成績隨優(yōu)化輪數(shù)的變化都呈現(xiàn)出了相同趨勢。

特別是在最困難的Level-5上，8輪后的成績已經(jīng)接近了對照組的5倍。

在MATH上，Gemini、Claude-3和GPT-4的成績分別為67.7、60.1和73.4，相比之下MCTSr略遜一籌，但也和Claude比較接近。

在更加困難的奧賽級別題目上，自我優(yōu)化給MCTSr帶來的能力增強(qiáng)也十分顯著。

在Math Odyssey上，MCTSr甚至超過了Gemini、Claude-3和GPT-4，三者的成績分別是45、40和49.1。

同時，在OlympiadBench上，經(jīng)過8輪優(yōu)化后，MCTSr的成績是零樣本時的6.2倍。

值得一提的是，Math Odyssey數(shù)據(jù)集在2024年4月才發(fā)布，其內(nèi)容與Llama 3的預(yù)訓(xùn)練語料重疊度很低。

而在這個數(shù)據(jù)集上，MCTSr模型的性能從Zero-Shot CoT的17.22%提升到了8-rollouts MCTSr的49.36%。

這一結(jié)果表明，MCTSr在面對全新的問題時，已經(jīng)顯現(xiàn)出了一定的泛化能力。

目前，MCTSr的代碼已經(jīng)開源，感興趣的讀者可以到GitHub當(dāng)中了解。

論文地址：https://arxiv.org/abs/2406.07394
GitHub：https://github.com/trotsky1997/MathBlackBox