GPT-4批評GPT-4實現「自我提升」！OpenAI前超級對齊團隊又一力作被公開
OpenAI最近的拖延癥狀逐漸嚴重，不僅GPT-5遙遙無期，前幾天還宣布GPG-4o的語音功能將推遲一個月發布。
或許是為了緩解廣大網友的熱切期待，OpenAI在今天放出了新模型CriticGPT，相當于GPT-4的「拐杖」。
我們訓練了一個模型CriticGPT，來捕獲GPT-4生成代碼中的錯誤。我們開始將此類模型集成到RLHF對齊管道中，以幫助人類監督AI執行困難的任務。
值得注意的是，CriticGPT依舊是用GPT-4模型訓練的，但被用于給GPT-4生成的代碼「捉蟲」，這似乎有點「自我閉環」的意思？
推特網友迅速質疑，「我用石頭摧毀石頭」，矛盾得有點好笑。
但也有人從另一個角度發現了華點：這難道就是模型自我提升的開始？
官方發布的推文和博客中還沒有提及CriticGPT何時會集成到ChatGPT中，但技術文章已經發布，而且又是一篇離職人員的遺留作品——由超級對齊的scalable oversight團隊共同完成，作者署名包含Jan Leike。
論文地址：https://cdn.openai.com/llm-critics-help-catch-llm-bugs-paper.pdf
那就來仔細看看，讓GPT-4「自我提升」的結果究竟如何？
GPT-4自己批自己
RLHF全稱為Reinforcement Learning from Human Feedback，是包括ChatGPT在內的很多LLM常用的對齊方法。人類AI訓練師們會收集模型對同一個問題的不同響應并進行評分，以此改進模型。
隨著ChatGPT的響應變得更加準確，它犯的錯誤也會更微妙、讓人類訓練師更難察覺，因而降低了RLHF的有效性。
事實上，這也是RLHF的根本限制，隨著模型逐漸進化到比任何提供反饋的專家都更有知識，基于人類的評價來調整模型就會越來越困難。
因此，OpenAI的「可擴展監督」團隊想到了跳出RLHF的框架，干脆訓練模型為ChatGPT撰寫評論，糾正輸出結果中不準確的地方。
這種方法似乎取代了RLHF，但好像又沒取代——因為訓練CriticGPT的過程，仍然采用了RLHF。
核心思想非常簡潔：CriticGPT依舊是自回歸模型。標注者先向ChatGPT的響應輸出中人為注入一些微妙的錯誤，CriticGPT針對這些有錯誤的答案生成批評意見，之后再由人類訓練師為批評意見進行打分排名。
CriticGPT訓練流程
RLHF的訓練過程與ChatGPT類似，具體如下：
- 為數據集中每個問題和答案采樣CriticGPT生成的批評意見
- 人類評估者對其各個屬性及總體質量進行評分
- 訓練獎勵模型用于預測人類對模型輸出的整體質量排名
- 使用PPO優化獎勵模型
- 應用一種創新的推理時采樣策略：強制采樣束搜索（FSBS）
大部分的訓練數據都來自人類篡改GPT答案的這個過程，但也包含少部分未經修飾的原始答案。
為什么一定要人為向ChatGPT的響應輸出中注入bug？不能直接篩選出有bug的答案嗎？
論文中提出，使用原始、未經修飾的答案會存在如下幾個問題：
- 許多答案不會包含嚴重問題，進而降低了數據對于改進批評意見的價值
- 如果無法控制錯誤類型，CriticGPT會輸出自由形式且模糊不清的批評意見，難以驗證其正確性
- 人類也很難發現CriticGPT遺漏的重要問題
- 偏好率可能受到許多風格因素的影響，并會高估模型性能
需要注意的是，人類已經檢測到有bug的模型輸出，本身就說明它們更容易被人發現！
篡改方法最重要的優點是制造出了高質量、難以發現的錯誤，而且平均而言更嚴重。知道了哪里有預先插入的bug，人類訓練師也更容易區分出那些不夠全面、遺漏bug的批評。
團隊有意地保證了這些人為篡改的復雜和微妙。他們訓練了一個二元判別器預測代碼是否被篡改，發現較小的模型并沒有較好的分辨能力（圖13），以此驗證了篡改代碼的質量。
人類評估CriticGPT的批評意見時，從以下幾個維度給出評分和排名：
- 是否全面 ，即沒有遺漏任何明顯或嚴重的問題
- 是否捕獲到了之前插入的特定bug，即CBI（critique-bug inclusion）
- 有沒有出現幻覺或者挑剔現象，指出了不存在的問題
- 對整體有用性的主觀評級，包含上述內容并考慮風格和整體的實用性
在訓練CriticGPT的過程中，除了RLHF方法，團隊將獎勵模型與搜索結合，提出了一種名為強制采樣束搜索的方法（Forced Sampling Beam Seach，FSBS）。
一般來說，模型產生的批評意見更長時，也更容易出現幻覺。這有點類似于「準確率」和「召回率」之間的權衡。
FSBS能夠激勵CriticGPT在產生更長、更全面的批評時，減少「無中生有」或者「雞蛋里挑骨頭」的發生率。
之后進行的消融實驗也證明了FSBS方法的有效性（圖12）。
當然，OpenAI還是忘不了他們最喜歡的Scaling Law。他們用RLHF訓練并評估了一系列模型，來描述模型規模對bug檢測效果的影響（圖5）。
直觀來看，要達到CriticGPT（只進行了RL）的同等水平，在沒有額外數據或修改pipeline的情況下，需要將ChatGPT的預訓練計算量擴大30×。
評估結果
首先，團隊把人類和CriticGPT撰寫的批評意見混雜在一起，再交給人類進行評估。
標注者們會更喜歡自己同行們的產出嗎？并沒有。
ChatGPT和CriticGPT都超過了人類表現（圖1b），而且63%的情況下，CriticGPT撰寫的批評意見比人類的更受青睞（圖1a）。
要知道，研究團隊招來寫批評意見的不是編程門外漢，而是有平均5年Python研發經驗的技術人員。他們在每個例子上大約會花費50分鐘，并能執行代碼或查找參考手冊，結果也只能發現25%左右的人為注入的bug。
論文認為，這些評估者在沒有LLM幫助下撰寫的批評意見相對較短，而且可能缺乏所需的領域知識（比如特定的Python庫），并且有些篡改行為確實難以發現，這三個原因導致了人類和模型之間如此明顯的差異。
從圖6中可以看到，CriticGPT的檢測錯誤能力比較全面，對于人為篡改的錯誤以及原始輸出中就存在的錯誤，都達到了最高的全面性百分比。
更令人驚訝的是，ChatGPT在這兩個方面的表現也都超過人類獨立撰寫的批評意見。人類評估者要借助CriticGPT，才能與ChatGPT水平相當。
但是下面的圖7又開啟了一輪反轉。團隊發現，雖然人類容易遺漏錯誤，但人類也最不容易產生幻覺或者「雞蛋里挑骨頭」的問題。
在產生幻覺這方面，ChatGPT的表現最不如人意，CriticGPT稍有提升。
考慮到批評意見的全面性與減少幻覺之間的權衡，作者提出了團隊中「人機合作」模式的好處。如圖8所示，人類+CriticGPT的團隊表現能夠超越模型或人類分別單獨工作時的Pareto邊界。
總結
可擴展監督（scalabel oversight）的終極目標是幫助人類評估模型，來訓練出更好、更安全的策略。
從長期來看，我們應該找到一種泛化性更強的批評模型訓練方法，適用于沒有groung truth和獎勵函數的長形式、開放式任務。
在現實場景中，模型輸出的錯誤可能分布在答案的很多部分。CriticGPT的工作重點是指出一處的重要錯誤，但未來依舊需要探索，如何識別出分散在答案中各處的錯誤。
CriticGPT依舊存在幻覺問題，且幫助有限。如果編碼任務或者原模型的輸出過于復雜，即使是有模型協助的專家也可能無法做出很好的評估。
但這篇文章的方法為今后的RLHF訓練帶來了一種新鮮思路：將RLHF應用到GPT-4中，訓練出CriticGPT這樣的模型，可以合成出更多的高質量RLHF數據。
