面對無解問題大模型竟會(huì)崩潰？港中文&華為聯(lián)合提出首個(gè)大模型推理可靠性評估基準(zhǔn)
本文作者是香港中文大學(xué)博士三年級薛博陽，導(dǎo)師為黃錦輝教授，目前在倫敦大學(xué)學(xué)院進(jìn)行訪問交流，他的研究方向包括可信大模型，模型不確定性，對話系統(tǒng)等，在 ACL, EMNLP, TASLP 等會(huì)議期刊作為第一作者發(fā)表多篇論文，并長期在知乎寫作大模型、機(jī)器學(xué)習(xí)等專欄文章，個(gè)人主頁為：https://amourwaltz.github.io
研究問題
面對無解問題最強(qiáng)模型也會(huì)束手無策？
今年初以 DeepSeek-r1 為代表的大模型在推理任務(wù)上展現(xiàn)強(qiáng)大的性能，引起廣泛的熱度。然而在面對一些無法回答或本身無解的問題時(shí)，這些模型竟試圖去虛構(gòu)不存在的信息去推理解答，生成了大量的事實(shí)錯(cuò)誤、無意義思考過程和虛構(gòu)答案，也被稱為模型「幻覺」 問題，如下圖（a）所示，造成嚴(yán)重資源浪費(fèi)且會(huì)誤導(dǎo)用戶，嚴(yán)重?fù)p害了模型的可靠性（Reliability）。
對于復(fù)雜的推理任務(wù)，一個(gè)可靠的模型應(yīng)當(dāng)在思考分析后，對可解問題給出正確答案，對不可解問題則指出無解；如果問題超出模型能力范圍無法判斷可解性，一個(gè)次優(yōu)的選擇就是拒答以避免誤導(dǎo)用戶，如上圖（b）和（c）所示，這樣回復(fù)才是可靠的，同時(shí)也能抑制幻覺發(fā)生。
近期由港中文和華為諾亞實(shí)驗(yàn)室聯(lián)合提出的 ReliableMath 基準(zhǔn)，旨在探究大模型推理任務(wù)的可靠性。該工作文章和數(shù)據(jù)集均已開源，并持續(xù)在 leaderboard 上更新最新模型結(jié)果，目前已新增了 Qwen3、豆包、Gemini 等一系列模型的可靠性測試結(jié)果，歡迎大家關(guān)注補(bǔ)充～
- 論文題目：ReliableMath: Benchmark of Reliable Mathematical Reasoning on Large Language Models
- 論文作者：Boyang Xue, Qi Zhu, Rui Wang, Sheng Wang, Hongru Wang, Fei Mi, Yasheng Wang, Lifeng Shang, Qun Liu, Kam-Fai Wong
- 論文地址：https://arxiv.org/pdf/2507.03133
- GitHub 地址：https://github.com/AmourWaltz/ReliableMath
- 數(shù)據(jù)集地址：https://huggingface.co/datasets/BeyondHsueh/ReliableMath
- Leaderboard 地址：https://huggingface.co/spaces/BeyondHsueh/ReliableMath-Leaderboard
可靠性評估準(zhǔn)則
知之為知之，不知為不知，是知也
此前大模型可靠性的研究集中在知識(shí)任務(wù)上，探究是否知道某個(gè)知識(shí)，缺乏對更難的推理任務(wù)的探索。由于推理問題本身可能無解，并且問題可解性以及模型能否回答都需要經(jīng)過推理才能得出，增加了研究挑戰(zhàn)。
根據(jù)前文對推理任務(wù)可靠性的定義，本工作提出一套推理任務(wù)可靠性的評估準(zhǔn)則，如下圖所示，將問題分為可解（A）和不可解（U），將模型回復(fù)分為成功（S），拒答（R）和失敗（F）。成功表示對可解問題匹配到正確答案或?qū)Σ豢山鈫栴}指出其無解，這是最好的情況；次優(yōu)是拒答，即對可解和不可解問題都回復(fù)我不知道；其余回復(fù)均認(rèn)為是失敗。
分別使用精度（Prec.）和謹(jǐn)慎度（Prud.）來表示成功率和拒答率，評估可靠性時(shí)優(yōu)先看精度，其次看謹(jǐn)慎度。
ReliableMath 數(shù)據(jù)集
首個(gè)高質(zhì)量數(shù)學(xué)無解問題集
由于缺乏無解的數(shù)學(xué)問題，本文提出一個(gè)評估數(shù)學(xué)推理可靠性的數(shù)據(jù)集 ReliableMath，包含可解和不可解的問題?？山鈫栴}從當(dāng)前開源數(shù)學(xué)問題集中收集，不可解問題通過對可解問題進(jìn)行改寫構(gòu)造獲得，改寫方式有兩種：刪除必要數(shù)學(xué)條件或增加與已知條件矛盾的條件，如下圖所示。
為了得到高質(zhì)量的無解問題，本文提出一套完整的無解解問題構(gòu)造流程，如下圖所示，包含三步：1）通過對現(xiàn)有可解問題進(jìn)行改寫使其不可解；2）對改寫問題使用模型驗(yàn)證，并過濾掉不合格的問題；3）對過濾數(shù)據(jù)再次進(jìn)行人工驗(yàn)證評估問題是否無解，保留確實(shí)無解的問題，這樣就得到了高質(zhì)量的無解問題構(gòu)成 ReliableMath 數(shù)據(jù)集。
ReliableMath 包含不同難度的數(shù)學(xué)任務(wù)，包括奧賽級的 AIME、AMC、Minerva、及高中級的 MATH。人工標(biāo)注時(shí)，對判斷問題無解的難度也進(jìn)行了標(biāo)注，對那些很容易判斷出無解的，比如幾何題缺失圖片信息等，難度標(biāo)為 0，而對于需要經(jīng)過思考才能判斷無解的，難度標(biāo)為 1，數(shù)據(jù)統(tǒng)計(jì)可參考原文。
實(shí)驗(yàn)分析
揭示大模型推理可靠性的缺陷
本文在一系列慢思考和快思考模型上做了實(shí)驗(yàn)，并指出以下幾條關(guān)鍵發(fā)現(xiàn)：
- 對模型直接輸入無解問題時(shí)（standard prompt），模型幾乎不具備拒答或指出不可解的能力，可靠性極差；我們發(fā)現(xiàn)模型能注意到無解問題本身存在問題，但不敢承認(rèn)其無解或拒答，反而是會(huì)不斷地回溯、反思導(dǎo)致生成大量無意義的思考過程，直到截?cái)嗷蛱摌?gòu)一個(gè)答案，造成嚴(yán)重浪費(fèi)和幻覺，損害了可靠性；
- 當(dāng)在提示詞中加入允許模型拒答或指出問題無解的指令后（reliable prompt），我們發(fā)現(xiàn)在可解問題上的可靠性變化不大，但大部分模型在不可解問題上可靠性有明顯提升，盡管仍低于可解問題的可靠性，并且生成序列長度也有明顯下降，說明使用 reliable prompt 可以在不損害可解問題性能的前提下，提高不可解問題的可靠性，并減少過度思考。
- 對較大的模型，使用 reliable prompt 后慢思考模型的可靠性普遍高于對應(yīng)快思考模型，如 Deepseek-r1 vs. Deepseek-v3；而對于小模型，使用 reliable prompt 后慢思考模型在不可解問題上的可靠性仍然很差，并沒有高于對應(yīng)的快思考模型，如 Distill-7b vs. Qwen-7b，意味著小模型可靠性有進(jìn)一步提升空間。
- 較簡單的數(shù)學(xué)測試集的可靠性要高于較難的測試集的可靠性。
此外，本文也對 ReliableMath 數(shù)據(jù)集做了分析，下圖（a）分別測試了使用移除必要條件和增加矛盾條件兩種改寫方式構(gòu)造的問題的可靠性，結(jié)果表明移除條件構(gòu)造的不可解問題可靠性偏低，這是因?yàn)槟Ｐ蛢A向于假設(shè)缺失條件虛構(gòu)答案。圖（b）分別展示了不同難度的無解問題的可靠性，發(fā)現(xiàn)難度為 1 的不可解問題可靠性偏低，即這些問題需要模型經(jīng)過推理才能發(fā)現(xiàn)問題無解，這種情況更難也符合預(yù)期，說明大模型與人類在識(shí)別問題無解難度的相關(guān)性是一致的，盡管人工評估難度存在主觀性。
可靠性對齊
如何提高大模型可靠性？
本文最后提出一個(gè)提高可靠性的對齊策略，在開源訓(xùn)練集上構(gòu)造一批無解問題。在較強(qiáng)的模型上蒸餾獲得成功回復(fù)，然后在小模型上自采樣獲得拒答回復(fù)，最后使用監(jiān)督學(xué)習(xí)訓(xùn)練小模型提升可靠性，如下圖所示。經(jīng)過對齊后，小模型的可靠性也得到顯著提升。
結(jié)語和展望
本文提出首個(gè)大模型推理任務(wù)的可靠性基準(zhǔn)，希望借此拋磚引玉，引出更多對新生代推理模型可靠性的關(guān)注和優(yōu)秀工作，讓人們更加信任模型的輸出，讓 AI 更好地服務(wù)于人類～
