在日益強調(diào)“思維能力”的大語言模型時代，如何讓模型在“難”的問題上展開推理，而不是無差別地“想個不停”，成為當(dāng)前智能推理研究的重要課題。

中國科學(xué)院自動化研究所聯(lián)合鵬城實驗室提出了一種高效的推理策略，賦予推理大模型根據(jù)題目難度自主切換思考模式的能力：

通過一個小小的省略號作為提示詞 + 多階段強化學(xué)習(xí)，引導(dǎo)大模型自主決定是否深度思考、思考多少。

研究背景：大模型“想太多”,是優(yōu)點還是負(fù)擔(dān)？

在大語言模型快速發(fā)展的今天，越來越多的模型開始具備“深度思考能力”。

比如，DeepSeek-R1系列模型引入了一種特別的提示結(jié)構(gòu)：先<think> ，再<answer>。也就是說，模型在回答之前會“思考”一番，生成一整段包含反復(fù)自我反思、自我驗證的邏輯推理，然后才給出結(jié)論[1]。這種方式是近來提升模型準(zhǔn)確率的重要方法。“深度思考”的確帶來了好處，模型不再“張口就答”，而是會分析、論證、驗證；在復(fù)雜問題中，能顯著提升答對率，避免“拍腦袋”行為。但是，如果問題本身很簡單，模型還有必要“苦思冥想”一大段嗎？

答案是：未必。事實上很多情況下，模型在解決簡單任務(wù)時也會機械地生成一大堆推理語句。這就好比你問一個人“2+3等于幾”，他卻要從自然數(shù)定義講起，列出加法交換律，甚至反復(fù)試錯，最后才告訴你答案是5。這種現(xiàn)象稱為過度思考（Overthinking）。

過度思考問題在DeepSeek-R1、Claude 3.7、Qwen3等推理模型中廣泛存在。尤其是當(dāng)prompt總是強制模型使用<think>標(biāo)簽時，它就會默認(rèn)開啟“深度思考模式”，不論問題簡單或復(fù)雜，推理過程長度極長，帶來了響應(yīng)延遲和計算成本上升；甚至在冗余思考中“越想越錯”，反而降低了準(zhǔn)確率。

目標(biāo)：教會模型學(xué)會「什么時候該思考」

團隊認(rèn)為，推理過程的存在不該是“硬規(guī)定”，而應(yīng)該因題制宜。就像人類一樣：面對簡單問題能立刻給出答案；面對復(fù)雜問題才會進行詳細(xì)推理與分析。那么，大模型能不能也具備這樣的“任務(wù)感知能力”？能不能學(xué)會自己判斷：這道題該不該思考，該思考多少？

這是AutoThink背后的初衷。AutoThink 不再讓模型“永遠思考”，而是訓(xùn)練它——學(xué)會何時該思考，何時可以跳過思考，甚至決定思考多少。

AutoThink：讓模型自主決定是否思考

團隊提出了一個簡單而有效的方案，叫做AutoThink。它有兩核心個關(guān)鍵詞：

• 最小提示干預(yù)（Minimal Prompting）
• 多階段強化學(xué)習(xí)（Multi-Stage RL）

通過這兩者的結(jié)合讓模型具備了類似人類的“任務(wù)感知能力”：簡單問題不浪費思考，復(fù)雜問題多加推理，真正做到“按需思考”，如圖1所示。相比之下，傳統(tǒng)方法要么手動控制思考模型[2]，要么不區(qū)分題目難度地壓縮推理過程[3]。

△圖1：AutoThink 與手動控制和簡潔推理方法的核心差異：根據(jù)難度自主切換思考模式。

實現(xiàn)Autothink的第一步，其實很簡單：只需要在原有的prompt里，加入一個省略號 “…”，模型就會自行決定是否進行推理。

舉個例子：

• 標(biāo)準(zhǔn)提示詞（Standard Prompt）： <think>→總是進入思考模式
• 不思考提示詞（No-Thinking Prompt）[2]：
  <think> Okay, I have finished thinking. →總是跳過深度思考
• 省略號提示詞（Ellipsis Prompt）： <think>… →隨機進入或跳過思考

實驗發(fā)現(xiàn)，“省略號提示詞”在沒有任何訓(xùn)練的情況下，已經(jīng)能激發(fā)出兩種模式的隨機共存，有些題目模型會寫出完整思考，有些則會直接給出簡潔的參考答案，如圖2(a)所示。用“省略號提示詞”進行推理的平均準(zhǔn)確率和推理長度都介于標(biāo)準(zhǔn)提示和不思考提示之間。這種“隱式控制”行為打開了一扇門——模型已經(jīng)有潛力學(xué)會“選擇是否思考”，只需要再稍作引導(dǎo)。

△圖2：不同的提示詞塑造了模型不同的推理行為和計算消耗

省略號提示能觸發(fā)模式切換，但不能“因題制宜”

雖然加入 “…” 可以讓模型切換推理模式，但模型并不會根據(jù)題目的難易程度來自主選擇。也就是說，它可能對簡單題深度推理，對難題卻直接跳過思考。這種隨機行為仍然缺乏任務(wù)感知能力。如圖2b (上)所示。使用省略號提示后，模型在不同難度題目上“跳過思考”的比例分布相對平坦。這說明，雖然省略號提示可以開啟“是否思考”的能力，但不能賦予模型“知道何時該思考”的智慧。

為了教會模型自主思考，團隊設(shè)計了一個三階段的強化學(xué)習(xí)策略，從最基礎(chǔ)的模式穩(wěn)定，到行為優(yōu)化，再到推理剪枝。經(jīng)過訓(xùn)練后，模型的思考模式變化成圖2b (下) 那樣：模型不再“隨緣”地決定是否思考，而是展現(xiàn)出更符合人類直覺的行為模式：在難度較高的問題上，模型更傾向于進入思考模式；而在容易的問題上，則更愿意跳過思考、直接作答。

AutoThink 三階段：一步步教會模型“何時該思考”

團隊采用GRPO的強化學(xué)習(xí)方法。為了鼓勵模型盡可能在不思考的前提下答對題目，首先設(shè)計了一個基礎(chǔ)獎勵函數(shù) (naive reward)，在答對的前提下“不思考”獎勵最高（+2），答錯且不思考懲罰最重（-1），體現(xiàn)了“能不想還答對最好，答錯就該罰”的原則。

階段一：防止模式坍縮，穩(wěn)定思考行為

盡管上述naive reward優(yōu)雅，但依照基礎(chǔ)獎勵函數(shù)訓(xùn)練的模型可能傾向于“全都思考”或“全都不思考”——這都是不健康的行為。例如，如果模型發(fā)現(xiàn)“都不思考”能更快提升平均獎勵，就會徹底放棄思考！

為解決這個問題，加一層動態(tài)調(diào)節(jié)機制，根據(jù)整個訓(xùn)練過程中每個batch里的思考和不思考的比例，調(diào)整每條數(shù)據(jù)的獎勵。這個階段調(diào)整獎勵函數(shù)如下：

階段二：在兩種模式下分別優(yōu)化準(zhǔn)確率

在穩(wěn)定模型思考與否的行為后，解除第一階段的束縛，讓模型自由選擇是否思考。此時的獎勵與 naive reward 一致。這個階段的目標(biāo)是放任模型自由發(fā)展，鼓勵模型對于當(dāng)前無法解決的問題使用思考模式深度探究，對于已經(jīng)能夠解決的問題使用不思考模式簡潔回答。在這個階段，往往會觀察到伴隨著訓(xùn)練準(zhǔn)確率的提升，不思考和思考的回答長度均上升。

階段三：在基于響應(yīng)長度獎勵，引導(dǎo)“簡潔推理”

雖然第二階段幫助模型提升了準(zhǔn)確率，但也帶來一個副作用——推理過程變得越來越長。模型在沒有限制的情況下，容易“滔滔不絕”，輸出一大段冗長推理。因此，在階段三引入了一個“長度感知獎勵機制” [4]，簡單來說，把一個 GRPO Group 的回答分為正確和錯誤的兩組，對于回答正確的組，懲罰沒必要的長回答；對于回答錯誤的組，鼓勵簡潔作答：

這個階段在盡可能小地犧牲模型性能的情況下，壓縮模型的輸出長度，并最終得到一個簡潔的、具有針對題目難度自主思考的模型。

為便于理解理解獎勵的變化選一個例子可視化了階段一（左）和階段三（右）的四個模態(tài)的回答的獎勵函數(shù)情況。

△圖3：階段一和階段三的獎勵函數(shù)的可視化

實驗結(jié)果：AutoThink 更聰明也更節(jié)省

在多個數(shù)學(xué)Benchmark 和多個R1-Style的基礎(chǔ)模型上驗證了 AutoThink。

實驗結(jié)果顯示：AutoThink 不僅能提升基模的性能，同時大幅減少了推理時的Token消耗，如表1所示。相比之下，大部分的開源模型的性能增強的代價是推理長度（思考過程）的成倍增長；而簡潔思考的模型性能往往相比于基礎(chǔ)模型幾乎無提升甚至下降。特別地：在已經(jīng)經(jīng)過大量RL后訓(xùn)練的DeepScaleR[5]上，AutoThink依然能節(jié)省額外10%的Token消耗。

△表1：不同模型和Benchmark上的準(zhǔn)確度和推理長度對比

消融實驗：三階段到底有沒有用？

為了驗證AutoThink多階段訓(xùn)練設(shè)計的必要性，專門設(shè)計了兩個關(guān)鍵的消融實驗。

一方面，移除階段一中的批次平衡獎勵，觀察模型是否還能維持“思考”與“不思考”的動態(tài)共存；另一方面，嘗試直接跳過階段二，僅保留初始與最終階段，測試是否還能實現(xiàn)高效推理與準(zhǔn)確率提升。

如圖4所示，實驗結(jié)果表明：階段一的batch獎勵平衡是防止模式坍縮、維持推理多樣性的關(guān)鍵機制，而跳過階段二會導(dǎo)致準(zhǔn)確率停滯，削弱后續(xù)階段的推理剪枝效果。這驗證了三階段訓(xùn)練方案在穩(wěn)定性與性能提升上的協(xié)同必要性。

△圖4：消融階段一和階段二，思考率、準(zhǔn)確率和回答長度的變化。

更深入的行為分析：AutoThink 真的是“聰明地不思考”嗎？

除了提升準(zhǔn)確率和節(jié)省token，也從更細(xì)致的角度，去理解AutoThink在推理過程中到底發(fā)生了什么變化。通過以下三個維度的分析，發(fā)現(xiàn)AutoThink并不是“簡單粗暴地省略推理”，而是在做有策略的思考選擇。

關(guān)鍵詞頻率分析：不思考 ≠ 胡說八道

統(tǒng)計推理過程中常見的關(guān)鍵詞，比如 “Calculate”, “Result”, “Check”等，它們通常用于表達模型的中間推理步驟。結(jié)果發(fā)現(xiàn)：即使在“不思考模式”下，AutoThink依然頻繁使用這類詞語。如圖5(左)所示，這表明它并非“跳過推理直接亂猜”，而是在內(nèi)部快速做出判斷后，簡潔地表達結(jié)果。

行為與難度匹配：越難越思考，越簡單越跳過

將測試數(shù)據(jù)按難度劃分，并觀察AutoThink在不同難度上的“思考比例”。如圖5 (右) 所示，結(jié)果表明：經(jīng)AutoThink訓(xùn)練后，模型更傾向于在簡單題（如Math）上快速給出答案，而在復(fù)雜題上主動開啟推理模式，分配更多的推理 token。

△圖5：行為分析——關(guān)鍵詞頻率和思考與難度的匹配評估

案例展示：輕松應(yīng)對簡單題，靈活應(yīng)對中等題，深度鉆研復(fù)雜題

我們進一步選取了三個代表性問題，比較AutoThink在不同提示和模式下的表現(xiàn)。如圖6-8所示，在不同難度上AutoThink展現(xiàn)出靈活的、根據(jù)題目難度自適應(yīng)的自主思考行為。

△圖6：簡單題，AutoThink 在不思考模式下就能快速得出正確答案，高效又準(zhǔn)確。

△圖7：中等題，模型可能在多個rollouts 中出現(xiàn)“思考”和“不思考”的混合情況，展現(xiàn)出策略靈活性。

△圖8：復(fù)雜題，AutoThink會啟用完整的推理流程，反復(fù)驗證、嚴(yán)謹(jǐn)解題，最終給出正確答案。

總結(jié)：離“任務(wù)自覺”的模型更近了一步

AutoThink 提供了一種簡單而有效的推理新范式：通過省略號提示配合三階段強化學(xué)習(xí)，引導(dǎo)模型不再“逢題必思”，而是根據(jù)問題難度自主決定是否思考、思考多少。在多個數(shù)學(xué)數(shù)據(jù)集上，AutoThink 實現(xiàn)了優(yōu)異的準(zhǔn)確率–效率平衡，既提升性能，又節(jié)省算力，展示出強的適應(yīng)性和實用性。該研究成果也集成于一站式智能科研平臺ScienceOne，并將用于訓(xùn)練ScienceOne的基座大模型S1-Base。

局限與展望

當(dāng)然，AutoThink 還不是完美的，也能觀察到：

• 獎勵規(guī)避(Reward Hacking)：模型可能在“不思考模式”中偷偷加入思考推理內(nèi)容；
• 推理預(yù)算不可控(Uncontrolled Reasoning Budget)：目前無法精確控制整體輸出長度；

這些問題是后續(xù)工作的重點方向，團隊相信，讓大模型“更聰明地思考、更簡潔地表達”，是未來通用智能演進的重要一步。

論文地址：https://arxiv.org/abs/2505.10832
代碼倉庫：https://github.com/ScienceOne-AI/AutoThink
模型地址：https://huggingface.co/collections/SONGJUNTU/autothink-682624e1466651b08055b479