OpenAI突發新模型：用GPT改進GPT訓練，左腳踩右腳登天，RLHF突破人類能力上限
OpenAI突然發布新模型！基于GPT-4訓練，可以幫助下一代GPT訓練。
CriticGPT，用于給代碼挑Bug時能找到75%以上，而相比之下人類只能找到不到25%。
它還可以給Bug寫“銳評”，在60%的情況下人類訓練師更喜歡有CriticGPT幫助下的批評。
有網友開玩笑說，“只會批評的GPT，這不是我前妻么”。
但這項研究最重要之處在于，CriticGPT挑錯能力可以泛化到代碼之外。
比如在RLHF訓練中給AI的輸出挑錯，而且已經進入OpenAI內部訓練流程。
更好的RLHF就能訓練出更強的模型，更強的模型又能通過更好地挑錯來增強RLHF訓練……
論文結論中赫然寫道：在真實世界數據中挑錯誤上，AI還可以繼續進步，人類智能已經到頭了。
左腳踩右腳上天，難道真的被這幫人給搞出來了？
這是一篇來自被解散的超級對齊團隊的“遺作”，由前負責人Jan Leike帶隊。
而Leike本人已經跳槽去了隔壁Anthropic，繼續做這類研究。
基于GPT-4，改進GPT-4
OpenAI官網文章變相承認了，GPT-4之后這么久沒有大的改進，還真的遇到一些瓶頸：
隨著AI能力變強，它犯的錯也不那么顯眼了，人類訓練師都難以發現不準確之處。
人類給不出反饋，那RLHF“人類反饋強化學習”就無從談起了。
CriticGPT正是為了應對這一挑戰而生。
CriticGPT基于GPT-4，也接受了RLHF訓練出，但特別之處在于訓練數據中包含大量的錯誤輸入。
具體來說，分為三步：
- 讓人類標注員在ChatGPT生成的代碼里故意植入一些微妙的bug。
- 標注員扮演代碼審查員的角色，寫下他們對這些bug的評論。
- 用這些數據來訓練CriticGPT，讓它學會如何發現和指出代碼中的問題。
在具體訓練過程中，他們還玩了點花樣。
比如不斷讓標注員驗證自己插入的bug是否足夠隱蔽，能夠騙過當前版本的CriticGPT。這樣一來，CriticGPT就被迫不斷進化，學會發現越來越隱蔽的問題。
思路有點像GAN的左右互搏，只不過生成器這個位置是人類來充當的……
最后，OpenAI還使用了一種“強制采樣束搜索”（FSBS）的技術，允許CriticGPT在生成評論時既能保持全面，又能減少”幻覺”和“雞蛋里挑骨頭”現象。
具體來說，FSBS會強制模型生成多個不同的評論片段，用獎勵模型對這些片段進行評分，最后根據評分和一個長度修正因子來選擇最佳的評論組合。
通過調整長度修正因子，可以在評論的全面性和準確性之間找到最佳平衡點，既不會錯過重要問題，又不會過度挑剔。
等一下，推理時搜索，這不正是和傳聞中的Q*一個思路，這次居然寫到了論文里。
可能是看外部團隊（如顏水成）按這一思路的研究已經夠多了，就不再藏著掖著了。
說回到CriticGPT，取得了哪些結果呢？
- 在發現人為插入的bug方面，人類審核員平均只能找到25%，而CriticGPT的成功率高達75%以上
- 在評估自然出現的Bug時，有63%的情況下人類更傾向于選擇CriticGPT的評論而非人類評論
- CriticGPT的評論被認為比ChatGPT的更全面，更少出現”幻覺”和無關緊要的挑剔
- 在評估非代碼任務時，成功識別出數百個在ChatGPT訓練數據中被人類認為是”完美”的錯誤。
不過CriticGPT也不是十全十美，它也會有”幻覺”問題，指出一些實際上不存在的問題。
目前，人類和CriticGPT組隊工作效果最好：既能發現大部分問題，又能避免AI的”幻覺”。
RLHF上限不再是人類
對于CriticGPT，負責這項研究的Jan Leike也補充了他自己的一些看法。
RLHF是創造出ChatGPT的核心技術之一，但隱患在于人類能力就是RLHF的天花板。
當需要AI去解決人類無能為力的任務時，人類給不出相應反饋，AI也就無法改進了。
CriticGPT的成功，意味著超級對齊團隊設想中的可擴展監督，也就是用弱模型監督訓練更強的模型，終于有希望了。
不過他也透露，目前CriticGPT并沒有幫助人類顯著提高艱難任務上的準確性，但是框架有了只要有更好的預訓練模型就能不斷改進。
為什么先從代碼任務開始入手呢？
一方面，代碼任務有現實意義，做出來的模型可以直接用上。
另一方面，代碼可以清晰明確的評估，比開放式對話更客觀，更容易評估CriticGPT發現的問題是否真實和重要。
結果CriticGPT在代碼上訓練，卻不僅能挑代碼Bug，還給1/4的ChatGPT生產數據挑出了問題。
最后，由于原OpenAI超級對齊團隊已經解散，已經跳槽的Jan Leike插入了一條Anthropic招聘廣告：
想做后續研究的請去隔壁。
也是讓人不得不感嘆硅谷是真的沒有競業協議。
One More Thing
同日，谷歌發布了開源大模型Gemma 2，OpenAI趕緊甩出一條消息來狙擊，這都第幾次了。
對于甩出來的不是Sora公測或者GPT-4o完整語音、視頻模式，也有很多人不滿。
有網友提了個更好的主意：
做個ReleaseGPT，專門用來發布承諾好的更新吧。
不過這次OpenAI久違的放出了論文，也還算有一些誠意。
論文地址：https://cdn.openai.com/llm-critics-help-catch-llm-bugs-paper.pdf
