從“替代”到“賦能”的轉變

過去幾年，大語言模型（LLM）幾乎成了科技圈的“超級明星”。它們能寫代碼、能寫文章、能幫忙做決策，甚至還能在會議上給你提煉要點。無論是程序員、作家還是企業高管，似乎都能從中找到一個“萬能助手”。

但問題也隨之而來?，F有的訓練方法大多依賴兩條路徑——模仿學習和強化學習。模仿學習讓模型學會“照葫蘆畫瓢”，模仿專家的操作；強化學習則通過獎勵機制逼著模型不斷優化。聽起來很合理，但結果卻是——模型越來越傾向于替代人類完成任務，而不是幫助人類更好地完成任務。換句話說，AI 越聰明，人類的“存在感”反而越低。

加州大學伯克利分校和普林斯頓大學的研究團隊正是要打破這種局面，他們提出：我們需要的不是一個“自動化替身”，而是一個“增強型伙伴”。AI 不該把人類擠出決策鏈條，而是要在關鍵時刻把選擇權交還給人類，讓人類保持主動性和創造力。于是，他們提出了一個新范式——賦能（Empower）。

說到這里，不得不介紹一下這支研究團隊的背景，研究團隊陣容堪稱“豪華陣容”。

來自加州大學伯克利分校（UC Berkeley ）的 Evan Ellis、Vivek Myers、Sergey Levine 和 Anca Dragan，個個都是強化學習、人機交互和機器人學的高手。

來自Princeton University 的 Jens Tuyls 和 Benjamin Eysenbach，則在自然語言處理和概率推斷方面有深厚積累。

其中，Sergey Levine 是深度強化學習領域的重量級人物，Anca Dragan 則是人機交互和 AI 對齊的領軍學者。年輕的博士生和資深教授同臺，既有理論創新的銳氣，也有應用落地的經驗。可以說，這是一支既懂“算法內功”，又懂“人機關系”的黃金組合。

1.研究問題與挑戰

要理解這項研究的價值，得先看清楚人機協作的核心矛盾：效率 vs. 控制權。

如果讓 AI 全權接管，效率的確會飆升，但人類就成了“甩手掌柜”，逐漸失去對過程的理解和掌控。反過來，如果把所有決定都交給人類，AI 又淪為“打字機助手”，無法發揮它的計算與推理優勢。如何在兩者之間找到平衡，是人機協作的關鍵難題。

現有方法在這條平衡木上走得并不穩。

模仿專家：看似聰明，但其實缺乏靈活性。模型只能學會“專家當時怎么做”，一旦遇到新情況就容易“掉鏈子”。

強化學習：理論上能讓模型更強大，但代價是需要大量昂貴的人類反饋。想象一下，每次訓練都要請專家來打分，就像請律師逐條審合同，成本高得嚇人。

過度自動化：這是最隱蔽的陷阱。模型越強大，人類越容易“放權”，久而久之，主動性和創造力被削弱，最后人類只剩下“點確認”的權力。

這正是研究團隊要解決的挑戰，如何讓 AI 在保證效率的同時，不剝奪人類的控制權？如何讓人機協作真正成為“1+1>2”的關系，而不是“AI 獨角戲”？

2.方法論：Empower（賦能訓練）

如果說研究報告的前半部分是在“挑毛病”，那么方法論部分就是在“開藥方”。

研究團隊提出的核心理念叫做 Empower（賦能訓練），它的目標不是讓模型替人類做所有事，而是要最大化“人類賦能”——換句話說，讓人類在環境中實現目標的能力被放大，而不是被削弱。

圖1：通過Empower訓練輔助代理。LLM生成后綴的累積似然性，如每個標記下方所示。當累積可能性大于閾值時，授權完成被選為最長后綴。這訓練助手完成文本，直到達到決定點。然后，人類將有更多的選擇去哪里執行程序，這樣他們的下一個行動就有了權力。

當你和一個超級聰明的助手一起寫代碼。助手能幫你補全那些千篇一律的函數模板，但當涉及到關鍵的業務邏輯時，它會停下來，把選擇權交還給你。這就是賦能的精髓，AI 不再是“全權代理”，而是“聰明的合作者”。

那么，Empower 是怎么做到的呢？研究團隊走了一條很有意思的技術路徑。

首先，他們引入了一個基于 互信息（mutual information） 的賦能指標?；バ畔⒈举|上是衡量“一個變量對另一個變量的不確定性減少程度”。在這里，它被用來度量人類的行為對未來結果的影響力。

換句話說，如果某個決策點對最終結果影響巨大，那就應該交給人類來做；如果某個環節幾乎是機械性的，那就交給模型自動完成。

其次，這個方法的一個亮點是：完全不需要額外的人類反饋。傳統的強化學習往往要請專家來打分，成本高得像請律師逐條審合同。而 Empower 只需要離線文本數據，就能通過統計和建模來推斷哪些部分該由模型接管，哪些部分該留給人類。這讓方法既經濟又可擴展。

在具體策略上，Empower 的分工邏輯非常直觀。

高可預測性部分，比如常見的代碼片段、標準化的寫作模板，模型可以自動完成，省去人類的重復勞動。

高不確定性部分，比如涉及創造性、判斷性或風險分配的環節，則留給人類來決策，確保關鍵選擇不被“黑箱”替代。

與傳統方法相比，這是一種范式轉變。過去的訓練方式往往追求“模型獨立完成任務”，仿佛人類只需要坐在一旁看結果。而 Empower 的邏輯是“模型輔助 +人類主導”，強調人類始終在決策鏈條的中心。這樣一來，AI 不再是“替代者”，而是“賦能者”。

圖2：以Gemma3-27B-it作為人體模型的輔助結果。我們評估了554個LiveCodeBench問題。我們發現Empower在以下方面優于所有基線pass@1以及DPR。誤差條顯示標準誤差。

如果用一句話來總結——Empower 就像是一個懂分寸的助手，知道什么時候該自己動手，什么時候該請示老板。它既能提高效率，又能保留人類的創造力和控制權。

3.實驗設計與結果

理論再漂亮，如果沒有實驗驗證，也只能停留在“紙上談兵”。研究團隊顯然深諳此道，于是他們設計了兩類實驗，一類是冷冰冰的模擬實驗，用數據和指標說話；另一類是熱乎乎的用戶實驗，讓真實的人來檢驗 AI 助手的表現。

先看模擬實驗。研究團隊選擇了兩個頗具挑戰性的編程數據集：Codeforces 和 LiveCodeBench。前者是全球知名的算法競賽平臺，題目難度跨度大，能很好地考驗模型的邏輯推理與代碼生成能力；后者則是一個專門用于評測代碼生成模型的基準測試集，強調實用性和魯棒性。

在模型選擇上，他們沒有走“閉源大模型”的捷徑，而是用開源的 Llama-3.1-8B和 Qwen3-8B/14B 來進行實驗。這一點很有意思：一方面說明方法本身不依賴超大規模的算力堆砌，另一方面也讓研究更具可復現性。

圖3:Llama-3.1-8B-Instruct助手的人體研究結果。最受歡迎和最相關的準確95%置信區間顯示出來，因為它們代表伯努利數據。接受率和刪除字符顯示標準錯誤欄。在所有情況下，參與者都更喜歡使用我們的Empower助手。

評測指標方面，團隊采用了兩個關鍵指標：

• Pass@1：即模型在第一次嘗試中生成正確答案的概率。
• DPR（Discounted Probability of Resolution）：一種折扣成功率指標，更能反映模型在多輪交互中的表現。

結果如何呢？一句話總結，Empower 方法的提升相當驚人。

在 Pass@1 上，性能提升接近 192%，幾乎是翻倍再加一半。這意味著 Empower 不僅讓模型更聰明，還讓它更懂得“什么時候該自己做，什么時候該交給人類”。

不過光有數據還不夠，畢竟AI 助手最終是要服務于人類的。于是，研究團隊又設計了一場 用戶實驗。他們邀請了 18 位參與者，在一個雙盲測試環境下完成 Python 編程任務。所謂“雙盲”，就是參與者不知道自己用的是哪種助手，避免心理暗示影響結果。

實驗結果同樣令人振奮：

• 78% 的用戶更偏好 Empower 助手。這說明大多數人覺得它更順手、更貼心。
• 接受率提升了 31%。換句話說，用戶更愿意直接采納 Empower 的建議，而不是一邊吐槽一邊刪掉。
• 刪除字符數減少了 26%。這是一項很直觀的指標，意味著用戶花在“修修補補”上的時間更少，AI 的輸出質量更高。

綜合來看，Empower 在冷冰冰的指標和熱乎乎的用戶體驗上都交出了漂亮的答卷。它不僅讓模型更高效，還讓人類感覺更有掌控感。這種“雙贏”的效果，正是人機協作的理想狀態。

4.研究貢獻與意義

研究的最大亮點，在于它不僅提出了一個新算法，更是提出了一種全新的人機協作哲學。

在理論層面，研究團隊把“賦能”提升為人機協作的新對齊目標。過去我們談 AI 對齊，總是強調“讓機器學會人類的偏好”，但這往往導致 AI 越來越像一個“替身演員”，搶走了人類的舞臺。

而賦能的提出，則把焦點轉向了“如何讓人類在與 AI 協作時更有力量”。這是一種范式轉變：AI 不再是“模仿人類”，而是“放大人類”。

在方法層面，Empower 算法的貢獻同樣不容小覷。它是一種可擴展、自監督、無需人類反饋的訓練方法。換句話說，它不需要昂貴的專家打分，也不依賴海量的人工標注，而是通過離線數據和信息論指標，就能自動學會“什么時候該幫忙，什么時候該讓路”。這讓它在實際應用中更具可操作性，也更容易推廣。

在實踐價值上，Empower 的意義更是直觀。它能顯著提升人機協作效率，讓 AI 在重復性任務上發揮長處，同時增強人類的控制感與創造力。更重要的是，這種方法并不局限于代碼生成。

在機器人領域，Empower 可以讓機器人自動完成搬運、清潔等機械性動作，但在涉及安全或倫理的決策時，仍然由人類來拍板。在網頁代理場景中，AI 可以幫你自動填寫表格，但在涉及隱私或支付的環節，它會停下來請你確認。在教育領域，AI可以自動批改標準化題目，但在開放性寫作或批判性思維訓練中，它會把舞臺交還給學生。

一句話總結，Empower 的貢獻，不僅在于它讓 AI 更聰明，更在于它讓人類更有力量。

5.批判性思考與局限性

當然，再漂亮的研究也不是“銀彈”。Empower 也有它的適用范圍和潛在風險。

它目前主要驗證于代碼生成場景，雖然結果令人振奮，但能否在法律、醫療、金融等更復雜、更高風險的領域同樣奏效，還需要進一步驗證。畢竟，寫代碼的邏輯性很強，而現實世界的語境往往更加模糊和多變。

Empower 的核心機制是基于“可預測性”來劃分人機分工，但過度依賴這一指標，可能會忽視復雜語境下的細微差別。比如，在法律合同中，有些條款看似模板化，但其中的措辭細節卻可能決定巨大的風險。如果模型僅憑“可預測性”來判斷，可能會錯過這些關鍵點。

再者，人機分工的邊界并不是一成不變的。今天 AI 可能只適合處理模板化任務，但隨著技術進步，它的能力邊界會不斷擴展。如何動態調整人機分工，避免 AI 過度接管或人類過度依賴，是一個長期的挑戰。

未來的改進方向也很清晰。首先是跨領域驗證，尤其是在法律、醫療、金融這些高風險場景中，Empower 是否能真正增強人類而不是制造新的隱患，需要更多實證研究。其次，可以考慮將Empower 與人類偏好反饋結合，讓模型不僅懂得“哪里該?！?，還懂得“人類希望它怎么停”。最后，更細粒度的人機交互設計也很重要。比如，不僅僅是“做”或“不做”的二元選擇，而是提供多層次的輔助模式，讓人類可以根據需求靈活切換。（END）

參考資料：???https://arxiv.org/pdf/2510.13709??

本文轉載自??波動智能??，作者：FlerkenS?