思維鏈之父跳槽Meta，不只因為1億美元！離開OpenAI前泄天機
硅谷人才爭奪戰，火熱升級！
過去，是OpenAI從谷歌等公司吸引人才；現在，Meta直接砸錢搶人。
頂尖AI人才的薪酬包可謂天價，1億美元還是扎克伯格給的起步價！
思維鏈之父、華人AI科學家Jason Wei，就是從谷歌跳槽到OpenAI，剛剛又跳槽到Meta。
在AI領域，Jason Wei非常高產。
根據谷歌學術統計，他有13篇被引次數超過1000的論文，合作者包括Jeff Dean、Quoc V. Le等知名AI研究員，參與了OpenAI的GPT-4、GPT-4o、o1、深度研究等項目。
離職消息被媒體爆出之前，他發表了兩篇博客，或許能讓我們看出他為何選擇離開。
意外的是，這些靈感都來自強化學習！
RL之人生啟示
天生我材必有用
過去一年，他開始瘋狂學習強化學習，幾乎每時每刻都在思考強化學習。
RL里有個核心概念：永遠盡量「on-policy」（同策略）：與其模仿他人的成功路徑，不如采取行動，自己從環境中獲取反饋，并不斷學習。
當然，在一開始，模仿學習（imitation learning）非常必要，就像我們剛開始訓練模型時，必須靠人類示范來獲得基本的表現。但一旦模型能產生合理的行為，大家更傾向于放棄模仿，因為要最大化模型獨特的優勢，就只能依靠它自己的經驗進行學習。
一個很典型的例子是：相比用人類寫的思維鏈做監督微調，用RL訓練語言模型解數學題效果更好。
人生也一樣。
我們一開始靠「模仿」來成長，學校就是這個階段，合情合理。
研究別人的成功之道，然后照抄。有時候確實有效，但時間一長就能意識到，模仿永遠無法超越原版，因為每個人都有自己獨特的優勢。
強化學習告訴我們，如果想超越前人，必須走出自己的路，接受外部風險，也擁抱它可能給予的獎勵。
他舉兩個他自己更享受、卻相對小眾的習慣：
- 讀大量原始數據。
- 做消融實驗，把系統拆開看每個部件的獨立作用。
有一次收集數據集時，他花了幾天把每條數據讀一遍，然后給每個標注員寫個性化反饋；數據質量隨后飆升，他也對任務有了獨到見解。
今年年初，他還專門花了一個月，把過去研究中「瞎搞」的決策逐條消融。雖然費了不少時間，但因此弄清了哪種RL真正好用，也收獲了很多別人教不會的獨特經驗。
更重要的是，順著自己的興趣去做研究不僅更快樂，我也感覺自己正在打造一個更有特色、更屬于自己的研究方向。
所以總結一下：模仿確實重要，而且是起步的必經之路。但一旦你站穩腳跟，想要超越別人，就得像強化學習那樣on-policy，走自己的節奏，發揮你獨有的優勢與短板??
AI的未來
驗證非對稱性，意指某些任務的驗證遠比求解更為簡單。
隨著強化學習（RL）的突破，這一概念正成為AI領域最重要的思想之一。
細察之下，驗證非對稱性無處不在：
- 數獨和填字游戲：解決數獨或填字游戲非常耗時，要嘗試各種可能性去滿足約束條件。但驗證一個答案是否正確卻非常簡單，只需檢查是否符合規則即可。
- 開發網站：比如開發一個像Instagram這樣的網站，需要工程師團隊數年之功。但驗證網站是否正常運行，普通人只需幾分鐘就能完成，比如瀏覽頁面、檢查功能是否可用。
- BrowseComp問題：要解決這類問題，通常需要瀏覽數百個網站，但驗證給定答案卻要快得多，因為可以直接搜索答案是否符合約束條件。
有些任務的驗證耗時與求解相當。例如：
- 驗證兩個900位數字相加的結果，和自己計算的時間幾乎一樣。
- 驗證某些數據處理程序的代碼是否正確，可能和自己編寫代碼的耗時相當。
有些任務驗證比解決還費時。例如：
- 核查一篇文章中的所有事實，可能比寫文章本身更耗時（引用Brandolini定律：「辟謠所需的精力比制造謠言大一個數量級」）。
- 提出一個新的飲食療法只需一句話：「只吃野牛肉和西蘭花」，但要驗證它對普通人群是否健康，卻得做多年大規模實驗。
通過前置研究，可以讓驗證變得更簡單。例如：
- 數學競賽問題：如果有解答要點，驗證答案是否正確非常簡單。
- 編程問題：閱讀代碼去驗證正確性，這很麻煩。如果你有覆蓋充分的測試用例，就可以快速檢查任何給定的解決方案；實際上，Leetcode就是這樣做的。在某些任務中，可以改善驗證但不足以使其變得簡單。
- 部分改進：比如「說出荷蘭足球運動員的名字」，提前備好名單能大幅加速驗證，但仍需人工核對某些冷門名字。
為什么驗證非對稱性如此重要？
深度學習史證明：凡是能被測量的，都能被優化。
在RL框架下，驗證能力等同于構建訓練環境的能力。由此誕生驗證者定律：
AI解決任務的訓練難度，與任務可驗證性成正比。所有可解且易驗證的任務，終將被AI攻克。
具體來說，AI訓練的難易程度取決于任務是否滿足以下條件：
- 客觀真相：所有人對什么是“好答案”有共識。
- 快速驗證：驗證一個答案只需幾秒鐘。
- 可擴展驗證：可以同時驗證多個答案。
- 低噪聲：驗證結果與答案質量高度相關。
- 連續獎勵：可以對多個答案的質量進行排序。
過去十年，主流AI基準測試均滿足前四項——這正是它們被率先攻克的原因。盡管多數測試不滿足第五項（非黑即白式判斷），但通過樣本平均仍可構造連續獎勵信號。
為什么可驗證性重要？
根本原因是：當上述條件滿足時，神經網絡每一步梯度都攜帶高信息量，迭代飛輪得以高速旋轉——這也是數字世界進步遠快于物理世界的秘訣。
AlphaEvolve的案例
谷歌開發的AlphaEvolve堪稱「猜想-驗證」范式的終極形態。
以「求容納11個單位六邊形的最小外接六邊形」為例：
- 完美契合驗證者法則五項特性
- 雖看似對單一問題的「過擬合」，但科學創新恰恰追求這種訓練集=測試集的極致優化——因為每個待解問題都可能蘊含巨大價值
悟透此理后，方覺驗證之不對稱，宛如空氣無孔不入。
試想這樣一個世界：凡能衡量的問題，終將告破。
智能的邊界必將犬牙交錯：在可驗證任務中，AI所向披靡，只因這些領域更易被馴服。
這般未來圖景，怎不令人心馳神往？
