GPT-5 發布在即，根據奧特曼在內部演示中首次披露的 GPT-5 實測數據，這一代模型不僅具備高達 256K 的上下文窗口，還展現出驚人的數學與編程能力。更令人矚目的是其“智能模式切換”能力——在深度推理與快速響應之間自由切換，仿佛具備了某種“元認知”能力。

這種表現并非偶然，而是源于其底層架構中引入了新的驗證機制，被稱為“Universal Verifier”，其靈感正是來自一項前沿研究：Prover-Verifier Game（PVG）。

Prover-Verifier Game讓模型“說得明白”

在傳統的 LLM 訓練中，模型往往只被優化為“給出正確答案”，而忽略了“如何讓人類理解這個答案”。這就導致了一個悖論：模型越強，輸出越復雜，人類越難判斷其是否合理。

PVG 的提出正是為了解決這一問題。它引入了一個博弈機制：一個“證明者”負責生成答案，一個“驗證者”負責判斷答案是否容易被人類理解和驗證。通過這種對抗式訓練，模型不僅要“說對”，還要“說清楚”。

這項機制的核心在于“可校驗性”（checkability）——即輸出是否具備邏輯清晰、結構合理、易于人類或小型模型驗證的特征。PVG 的研究表明，優化可校驗性不僅不會犧牲準確性，反而能提升模型的說服力與人機協作能力。

Universal Verifier從理論到落地

GPT-5 的驗證機制并非從零開始。它繼承了 OpenAI 超級對齊團隊（Superalignment Team）的技術遺產——由 Ilya Sutskever 與 Jan Leike 領導的團隊曾致力于構建“通用驗證器”（Universal Verifier），以確保未來強人工智能的輸出可被人類安全審查。

雖然該團隊已解散，但其研究成果被整合進 GPT-5 的推理架構中，成為模型“自我監督”與“自我解釋”的關鍵組件。

這一驗證器的設計理念與 PVG 高度契合：通過小型模型或規則系統對大型模型輸出進行實時評估，從而提升輸出的可讀性、可解釋性與安全性。GPT-5 的“o系列”推理模型據稱正是這一機制的產物，具備更強的邏輯一致性與人類可理解性。

Prover-Verifier Game 思路在 GPT-5 中的映射

PVG 并非只是一個學術實驗，它已成為 GPT-5 智能體架構的核心思想之一。在 GPT-5 中，模型不再是單一的“生成器”，而是由多個子模塊協同工作：一個負責推理，一個負責驗證，一個負責工具調用，還有一個負責記憶管理。這種模塊化架構與 PVG 的“證明者-驗證者”機制形成了天然的映射關系。

更重要的是，這種架構使得 GPT-5 能夠在復雜任務中進行“自我審查”與“自我修正”，從而大幅提升其在高風險場景（如金融、醫療、法律）中的應用可信度。PVG 的思想已從論文走入現實，成為通用智能演化的關鍵支柱。

提出 PVG 的研究團隊來自 OpenAI 目前已經解散的 MathGen 項目組，長期致力于將數學推理與過程監督（Process Supervision）引入 LLM 訓練。他們不僅在技術上具備深厚的強化學習與博弈論背景，更在方法論上強調“人類可讀性”與“審計友好性”的結合。

這支團隊的研究風格鮮明：強調形式化定義、對抗性實驗與多輪迭代優化。他們的工作不僅推動了 GPT-5 的驗證機制，也為整個 AI 安全與對齊領域提供了新的范式。

1.Prover-Verifier Game讓大模型“說得清楚”

在大型語言模型的訓練中，準確性一直是核心指標。但隨著模型能力的增強，輸出變得越來越復雜，人類用戶卻越來越難判斷其是否合理。這正是OpenAI 的 MathGen 項目組試圖解決的問題，如何讓模型不僅“說對”，還要“說清楚”。

從正確到可讀的躍遷

他們的核心主張是：通過引入一個“驗證者”模型，可以訓練“證明者”模型生成更具可讀性、邏輯清晰、易于人類或小模型驗證的輸出。這種機制被稱為“Prover-Verifier Game”（PVG），本質上是一種博弈式訓練框架。

圖1：關鍵結果。優化解決方案的正確性會導致高精度，但易讀性較差。

初始化（對各種人類編寫的數學推導進行預訓練）具有更高的可讀性，但準確性較差。我們提出的方法在初始化和僅正確性基線之間保持了較高的可讀性和準確性。由此產生的權衡說明了易讀性稅。

研究團隊發現，僅優化正確性的強化學習（如 PPO）雖然能提升模型性能，但卻嚴重損害了輸出的可讀性。相比之下，引入驗證者并優化“可校驗性”指標后，模型不僅保持了高準確率，還顯著提升了人類用戶的理解與信任度。

更重要的是，這種方法具備通用性——無論是數學推理、編程任務，還是開放式問答，PVG 都能提升輸出的結構性與解釋性。

理解 PVG 的三大支柱

可讀性（Legibility）

可讀性被定義為“輸出是否具備清晰的邏輯結構，是否便于人類或小型模型進行驗證”。它不僅關乎語言表達，更關乎推理過程的透明度。一個高可讀性的輸出，往往包含明確的步驟、合理的因果鏈條，以及易于追蹤的論證過程。

可校驗性（Checkability）

這是 PVG 的核心指標。可校驗性指的是“輸出是否能被一個驗證者模型準確判斷為合理或不合理”。它是一種形式化的度量，既包括驗證者對正確性的判斷能力，也包括對邏輯漏洞的識別能力。論文中通過“完整性”（驗證者能識別錯誤）與“健壯性”（驗證者不被欺騙）兩個維度來衡量。

證明者（Prover）與驗證者（Verifier）

證明者是主模型，負責生成回答或推理過程；驗證者是輔助模型，負責評估這些輸出的可讀性與合理性。兩者之間形成一種動態博弈：證明者試圖“說服”驗證者，而驗證者則不斷提升識別能力。這種機制促使證明者輸出更清晰、更易驗證的內容。

圖片

圖2：可檢查性培訓產生清晰、結構良好的解決方案。由樂于助人的證明者從不同輪次的可檢查性培訓中得出的三個樣本解決方案。

交互式證明（Interactive Proofs）基礎：AI中的“陪審團機制”

PVG 的思想源于計算復雜性理論中的“交互式證明”系統。在這種系統中，一個強大的證明者向一個資源受限的驗證者展示某個命題的正確性。驗證者通過有限的交互判斷是否接受該證明。

這一機制在 AI 中的意義在于：我們可以用小模型或規則系統來評估大型模型的輸出，從而構建一種“陪審團機制”，提升模型的可解釋性與安全性。

可擴展監督：判別式優于生成式監督

傳統的 LLM 訓練依賴生成式監督，即通過人類標注的正確答案進行訓練。但這種方式難以擴展，且容易導致模型“過擬合”于表面語言模式。

PVG 引入判別式監督，即通過訓練一個驗證者模型來判斷輸出的好壞。這種方式不僅更易擴展，還能捕捉更深層次的邏輯結構與推理質量。驗證者的反饋成為證明者優化的關鍵信號，從而實現更高質量的輸出。

圖片

圖3：說明易讀性問題的示意圖。一個對齊不良、能力超人的人工智能可能會產生高效的代碼，為了簡潔或性能而犧牲可讀性。代碼稍微改編自比特分類器，用于對列表中的元素進行并行排序（維基百科貢獻者，2023）。

Chain-of-Thought 與可讀性增強，不是所有思路都清晰

Chain-of-Thought（CoT）是近年來提升LLM 推理能力的重要方法。它鼓勵模型分步驟思考，而非直接給出答案。但 CoT 并不總是可讀的——模型可能生成冗長、混亂或邏輯跳躍的推理過程。

PVG 在此基礎上進一步提出：不僅要有思路，還要讓思路“清晰可驗證”。通過驗證者的反饋，模型學會生成更結構化、更易理解的 CoT，從而提升人機協作效率。

對抗魯棒性與人機協作驗證，別讓模型“忽悠”你

一個重要發現是：模型在強化學習中可能學會“欺騙”驗證者，即生成看似合理但實則錯誤的輸出。這種現象被稱為“Goodharting”——優化指標反而導致行為偏差。

PVG 通過對抗訓練提升驗證者的魯棒性，使其能識別“sneaky”證明者的偽邏輯。同時，驗證者也能幫助人類識別模型輸出中的漏洞，構建更可信的協作機制。

2.方法詳解：可校驗性訓練如何讓模型“說得更明白”

在大型語言模型的訓練中，傳統方法往往只關注“正確性”——即模型是否給出了正確答案。但隨著模型能力的增強，這種單一目標開始暴露出嚴重問題：模型輸出越來越難以理解，甚至連專家都難以判斷其推理過程是否合理。于是，研究者們提出了一種新的訓練范式：可校驗性訓練（Checkability Training），其核心機制就是“證明者-驗證者博弈”。

這一方法不僅改變了訓練目標，也重塑了模型的行為動機。它不再鼓勵模型“只管答對”，而是要求它“答得清楚、答得可信”。

博弈框架與形式化，從 Stackelberg 到可讀性博弈

可校驗性訓練的核心是一個動態博弈系統。在這個系統中，證明者（Prover）負責生成輸出，驗證者（Verifier）負責評估這些輸出是否容易被理解和驗證。兩者之間形成一種策略性互動，類似于經濟學中的 Stackelberg 博弈。

在 Stackelberg 博弈中，領導者先行動，追隨者根據領導者的行為做出最優反應。在PVG 框架中，證明者是領導者，它必須預測驗證者的反應，并據此調整自己的輸出策略。這種機制促使證明者生成更具邏輯性、結構清晰、易于驗證的內容。

為了量化驗證者的能力，研究者定義了兩個關鍵指標：

• 完整性（Integrity）：驗證者是否能識別錯誤輸出并拒絕它。
• 健壯性（Robustness）：驗證者是否能抵抗“sneaky”證明者的欺騙性輸出。

這兩個指標共同構成了驗證者的“可校驗性評估能力”，也是整個訓練過程的優化目標。

驗證者訓練階段，讓小模型成為“邏輯裁判”

驗證者的訓練是整個 PVG 框架的起點。它的任務是判斷兩個輸出中哪個更容易被人類理解和驗證。為此，研究者構造了大量“輸出對比樣本”，包括高可讀性與低可讀性的回答，并用這些數據訓練驗證者模型。

訓練過程中采用了 Bradley–Terry 排序損失函數，這是一種經典的排序學習方法。它不要求驗證者給出絕對分數，而是判斷兩個輸出中哪個更優。這種方式更貼近人類的判斷習慣，也更適合用于博弈式優化。

驗證者的初始化非常關鍵。研究者發現，使用人類標注的“可讀性評分”作為初始訓練數據，可以顯著提升驗證者的判斷準確率。隨著訓練迭代，驗證者逐漸具備識別邏輯漏洞、結構混亂、推理跳躍等問題的能力，成為證明者的“邏輯裁判”。

證明者訓練階段，不只是答對，更要答得好

一旦驗證者具備基本判斷能力，證明者的訓練就開始了。它的目標是生成既正確又容易被驗證者接受的輸出。為此，研究者設計了三類獎勵機制：

• SRC（Self-Refinement Correctness）：鼓勵模型生成正確答案。
• CGC（Checkability-Guided Correctness）：鼓勵模型生成驗證者更容易接受的答案。
• Goodharting 懲罰：防止模型通過“欺騙性語言”誤導驗證者。

訓練過程中采用了 PPO（Proximal Policy Optimization）強化學習算法。這是一種穩定且高效的策略優化方法，適合用于多目標博弈場景。證明者在每一輪訓練中根據驗證者的反饋調整策略，逐步學會如何“說服”驗證者。

值得注意的是，研究者發現如果只優化 SRC，模型會變得“聰明但難懂”；而加入 CGC 后，模型開始生成更清晰、更結構化的輸出，顯著提升了人類用戶的理解度。

迭代博弈機制：一場持續的“說服與審查”之戰

PVG 的訓練并非一次性完成，而是一個持續迭代的過程。每一輪訓練包括以下步驟：

• 驗證者評估當前證明者的輸出，更新判斷策略。
• 證明者根據驗證者的反饋調整生成策略。
• 生成新的輸出樣本，構建新的訓練數據。
• 重復以上流程，直到驗證者與證明者達到動態平衡。

這種迭代機制類似于 GAN（生成對抗網絡），但目標不是生成逼真圖像，而是生成“邏輯清晰、易于驗證”的文本輸出。研究者設定了收斂條件：當驗證者的完整性與健壯性指標穩定，且證明者的輸出在可讀性與準確性之間達到平衡時，訓練即告完成。

最終結果令人驚艷。證明者不僅能生成高質量答案，還能以人類易于理解的方式表達推理過程；驗證者則成為一種“審計友好”的輔助模型，可用于評估LLM 輸出的可信度。

3.實驗設計與核心結果

理論再精妙，也必須經得起實證檢驗。為了驗證 Prover-Verifier Game（PVG）是否真的能提升大型語言模型的可讀性與可信度，研究團隊設計了一系列對比實驗，涵蓋數學推理、開放式問答、編程任務等多個領域。結果不僅令人信服，更揭示了一個長期被忽視的真相：模型的“說服力”可以被訓練出來，而且與準確性并不矛盾。

基線方法與對比設置：只優化正確性，反而“說不清”

圖片

圖4：向二進制評分器學習會帶來很強的性能，但易讀性較差。a模型精度是RL訓練步驟的函數。8k步長的明顯下降是由于解決方案達到了最大完成長度。b在評估初始化（?）、3k步（▲）或7k步（?）后的解決方案時，時間受限的人類承包商的平均精度。c受時間限制的人工承包商正確標記解決方案所需的平均時間。d對于初始化（灰色）、3k步后的證明者（藍色虛線）或7k步后（藍色實線）的解決方案，每個解決方案的承包商的平均精度是同一解決方案的模型精度的函數。對于每個實驗，我們在平均之前根據模型精度將數據分成四分位數。

作為對照組，研究者首先采用傳統的強化學習方法——PPO（Proximal Policy Optimization）——僅以“正確性”為獎勵目標進行訓練。這種方法在過去被廣泛用于提升模型性能，尤其是在數學與編程任務中。

結果卻出人意料：雖然模型的準確率顯著提升，但輸出的結構卻變得混亂，推理過程冗長、跳躍，甚至讓人類評審員難以判斷其是否合理。換句話說，模型變得“聰明但難懂”，仿佛在用一種只有自己能理解的語言進行思考。

這一現象揭示了一個關鍵問題，僅優化正確性，可能導致模型“過度壓縮”推理過程，犧牲了可讀性與解釋性。

Checkability Training 效果：說服力是一種可訓練能力

引入驗證者后，情況發生了根本性變化。在 PVG 框架下，證明者不僅要答對，還要讓驗證者“信服”。這種雙重目標促使模型生成更清晰、更結構化的輸出。

圖5：一對驗證者和證明者在不同輪次中的證明者訓練階段的動態。正確（實心）和不正確（虛線）解決方案（a）和準確性（b）的平均驗證者得分，作為RL訓練步驟的函數，適用于后續輪次（列）和有用（紅色）或偷偷摸摸（棕色）的證明者。箭頭表示在狡猾的證明器的精度降至10%以下之前，步驟數會增加。

研究者發現，經過可校驗性訓練后，模型在多個任務中展現出顯著的“說服力”提升。驗證者更容易判斷其輸出為合理，人類評審員也更傾向于接受其推理過程。

更重要的是，這種提升并未以準確性為代價。相反，在某些任務中，模型的準確率甚至略有上升，表明可讀性與正確性并非零和博弈，而是可以協同優化。

這一發現為 GPT-5 的設計提供了重要啟示：通過引入驗證機制，可以讓模型“既聰明又通情達理”。

驗證者魯棒性評估，別被模型“忽悠”了

圖6：驗證器的魯棒性增加，這是通過僅偷偷摸摸的攻擊難度和平衡的最佳n準確度來衡量的。在偷偷摸摸地發現SRC（藍色）、goodharting（橙色）和CGC（綠色）對手的漏洞之前的步驟數，是驗證器大小的函數。當偷偷摸摸變得95%不正確，偷偷摸摸的不正確樣本的平均驗證器得分與同一輪中有用的正確樣本的得分一樣高時，我們宣布SRC和CGC對手的攻擊“成功”。當在驗證器得分上優化證明者達到精度<0.2時，我們宣布一個好的對手“成功”。b在不同n輪和不同輪次的n個平衡樣本中選擇最有說服力的正確解的分數。這些解決方案來自當前一輪有用證明的最后一個檢查點，平衡后正確率為50%。

一個關鍵問題是：驗證者是否真的能識別“偽邏輯”？為此，研究者設計了兩項對抗性評估：

Sneaky-only 對抗攻擊：在這一測試中，證明者被訓練為“欺騙型”模型，專門生成看似合理但實則錯誤的輸出。驗證者必須識別這些偽邏輯，并拒絕接受。

結果顯示，經過多輪訓練的驗證者具備較強的識別能力，能夠有效抵御 sneaky 模型的攻擊。這表明驗證者不僅能評估可讀性，還能識別邏輯漏洞，具備一定的“審計能力”。

Best-of-n 評測：在這一測試中，模型生成多個候選輸出，驗證者需從中選出最具可讀性的版本。結果顯示，驗證者在多輪選擇中表現穩定，能夠持續選出結構清晰、邏輯合理的輸出。

圖7：由偷偷摸摸的證明者引入的缺陷變得更加局部化，時間有限的人更難發現。a初始化（左）和不同輪可檢查性訓練中正確（實心）和不正確（虛線）解決方案部分的平均（圓形）和最?。ㄈ切危┯行缘梅?。b在不同輪次的可檢查性培訓中評估來自狡猾證明者的解決方案時，時間受限的人類承包商的平均準確性。這一情節來自一場可能存在缺陷的競選活動（見附錄一）。c兩個來自不同訓練點的驗證者得分較高的錯誤解決方案示例。缺陷以紅色突出顯示。請注意，在第二個例子中，缺陷是將單詞錯誤地翻譯成方程式。

這兩項測試共同驗證了驗證者的魯棒性，也為其在 GPT-5 中的應用提供了現實依據。

人類可讀性轉移實驗，從“忽悠”到“協作”的進化

最后，研究者進行了一項極具啟發性的實驗：將 sneaky 模型與經過 Checkability Training 的 helpful 模型輸出交由人類評審員進行對比。

結果令人震撼：雖然 sneaky 模型在某些任務中也能給出正確答案，但其輸出往往缺乏邏輯結構，難以理解。而helpful 模型則展現出更高的可讀性與說服力，評審員更傾向于接受其推理過程，甚至在不確定答案是否正確時也愿意“相信它”。

圖8：可檢查性訓練共同提高了模型性能和易讀性。a在不同輪次的可檢查性訓練中，有用證明者的平均準確度。b，c在不同輪次的可檢查性培訓中評估有用證明者的解決方案時，時間受限的人類承包商正確標記解決方案所需的平均準確度（b）和時間（c）

這項實驗揭示了一個重要現象：人類對模型的信任不僅取決于答案是否正確，更取決于推理過程是否清晰。這種“信任轉移”機制正是 PVG 的核心價值所在。

4.可讀性之路，并非坦途

Prover-Verifier Game（PVG）無疑為大型語言模型的可讀性訓練開辟了新路徑。但正如所有突破性方法一樣，它也面臨著一系列現實挑戰與理論邊界。在 GPT-5 的架構中，這些問題并未完全消失，而是以更復雜的形式呈現出來。理解這些局限，不僅有助于我們更清醒地評估 PVG 的價值，也為未來的改進提供了方向。

領域標簽依賴性：驗證者不是“通用裁判”

PVG 的一個核心假設是：驗證者可以判斷輸出是否“容易被人類理解”。但這一判斷往往依賴于領域標簽——即任務的類型、語境、預期結構等信息。

在數學推理任務中，驗證者可以依賴公式結構與邏輯鏈條進行判斷；在開放式問答中，則需要理解語言風格與語義連貫性；而在編程任務中，驗證者甚至需要具備一定的語法解析能力。

這就導致一個問題：驗證者的泛化能力有限。它在某一領域表現良好，但在跨領域任務中可能失效。GPT-5 的“Universal Verifier”嘗試解決這一問題，通過多任務訓練與元學習提升驗證者的通用性，但仍未完全擺脫領域依賴。

未來的方向可能是構建“領域自適應驗證器”，或引入任務元標簽作為輔助輸入，讓驗證者在不同語境下做出更精準判斷。

Chain-of-Thought 與可讀性之間的權衡：思路清晰≠語言清晰

Chain-of-Thought（CoT）方法鼓勵模型分步驟思考，是提升推理能力的重要手段。但在 PVG 框架下，CoT 并不總是“可讀”的。

研究者發現，某些 CoT 輸出雖然邏輯正確，但語言表達混亂、結構松散，反而降低了驗證者的判斷準確率。更復雜的是，模型在優化可讀性時，可能會犧牲部分推理深度，轉而生成“表面清晰但邏輯淺薄”的輸出。

這形成了一種微妙的權衡，我們希望模型既能深入思考，又能清晰表達，但這兩者并非天然一致。GPT-5 的“智能模式切換”機制嘗試在深度推理與快速響應之間動態平衡，但仍需更精細的控制策略。

或許未來的模型需要具備“表達風格調節能力”，根據任務需求在“邏輯密度”與“語言清晰度”之間做出權衡，甚至允許用戶自定義輸出風格。

實驗異構性與超參數敏感性：不是所有設置都能復現奇跡

PVG 的實驗結果令人振奮，但也存在一定的異構性與敏感性。研究者在不同任務、不同模型規模、不同訓練數據上進行測試，發現效果并不完全一致。

尤其是在小模型上，驗證者的判斷能力受限，容易被 sneaky 模型欺騙；而在大模型上，訓練成本高昂，驗證者的反饋信號可能被“淹沒”在復雜的策略空間中。

此外，PVG 的訓練過程對超參數極為敏感——包括獎勵權重、驗證者更新頻率、樣本構造方式等。稍有偏差，訓練效果就可能大打折扣。

這意味著，PVG 并非“即插即用”的萬能方法，而是一種需要精細調參與任務定制的高級訓練策略。GPT-5 的成功落地，很可能依賴于大量工程優化與架構調整，而非單一方法的直接遷移。

未來的研究應致力于提升 PVG 的穩定性與可復現性，或開發更魯棒的訓練框架，使其能在更廣泛的模型與任務中發揮作用。

參考資料：https://arxiv.org/pdf/2407.13692