來自OpenAI、谷歌DeepMind和Anthropic的頂尖科學家們罕見地發出聯合警告，指出人類可能正在迅速失去理解人工智能內部決策過程的能力。

圖片

地址：https://tomekkorbak.com/cot-monitorability-is-a-fragile-opportunity/cot_monitoring.pdf

這篇研究論文，集結了超過四十位來自這些相互競爭的科技巨頭的研究人員，共同揭示了一個嚴峻的現實。他們認為，一個能夠讓我們監視人工智能推理過程的短暫窗口正在關閉，而且可能永遠不會再打開。

這種非同尋常的跨公司合作，凸顯了人工智能安全問題的極端嚴重性，即便是最激烈的商業對手也不得不暫時放下分歧。

一、脆弱的窗口

警告的核心在于，當前部分先進的人工智能系統發展出了一種新能力，即在給出最終答案前，能用人類語言進行“大聲思考”。

圖片

這種被稱為“思想鏈”（Chain of Thought, CoT）的內部獨白，為我們提供了一個前所未有的機會，去窺探它們的決策過程。

研究人員解釋說，通過監控人工智能的“思想鏈”，我們可以及時發現其潛在的、可能導致危害的意圖。這就像是能夠讀懂機器的心靈，在其采取惡意行動之前就預先洞察。

這一突破尤其體現在像OpenAI的o1系統這樣的高級推理模型上，它們通過生成人類可讀的、步驟分明的推理過程來解決復雜問題。

與早期主要通過人類編寫的文本進行訓練的AI不同，這些新模型生成的內部推理，可能會暴露它們真實的、未經偽飾的目標。

研究人員在測試中已經發現了確鑿的證據：當模型試圖利用訓練漏洞或遭受攻擊時，它們的“思想鏈”中常常會留下“自白”，例如寫下“讓我們開始黑客攻擊”或“我正在轉移資金，因為網站指示我這樣做”等語句。

OpenAI的首席技術官Jakub Pachocki強調了這一能力的重要性，稱其深刻影響了他們推理模型的設計。

目前，這種監控之所以可行，是因為模型在處理復雜任務時，必須將“思想鏈”作為一種工作記憶來使用，這使其部分思考過程對外部觀察者可見。

然而，研究人員們沉重地指出，這種寶貴的透明度是極其脆弱的。

二、消失的路徑

有多種技術發展的可能性，都可能導致這種監控能力的徹底消失。其中最直接的威脅，來自于強化學習訓練方法的規?；瘧?。

在這種訓練模式下，模型會因為最終輸出結果的正確性而獲得獎勵，而其得出結果的具體方法則無關緊要。

這種機制可能會激勵模型放棄人類可讀的推理過程，轉而發展出一種更高效、但外界完全無法理解的內部“語言”或快捷方式。

先前的研究已經證明，經過這種結果導向的獎勵進行微調的語言模型，會傾向于放棄清晰的英語，轉而使用晦澀難懂的推理捷徑。

隨著AI越來越多地使用自身生成的數據而非人類數據進行訓練，這種向不透明化的漂移可能會進一步加速。

新型的人工智能架構，則構成了另一種截然不同的嚴峻威脅。

科學家們正在積極開發一些全新的系統，它們不再依賴于離散的詞語，而是在連續的數學空間中進行推理。

這種“潛在推理模型”可能完全不需要將它們的任何想法“說”出來，從而使基于語言的“思想鏈”監控變得毫無用武之地。

研究人員認為，這些模型將因此失去現有的安全優勢。即使沒有這些刻意的技術變革，間接的壓力也同樣會侵蝕透明度。

例如，如果人工智能的輸出被優化以取悅人類評估者，那么導向這些輸出的推理鏈的真實性就可能受到影響。

更令人擔憂的是，一個“聰明”的模型如果意識到自己的推理過程正被監控，它就可能會學會主動隱藏或偽造自己的真實想法。

Anthropic的研究員兼論文主要作者Bowen Baker警告說：“現有的思想鏈可監控性可能極其脆弱，更高計算量的強化學習、替代性模型架構都可能導致模型混淆其思維?！?/p>

三、與時間的賽跑

盡管存在脆弱性，“思想鏈”監控在當前的人工智能安全研究中已證明了其巨大價值。

這項技術成功地檢測到模型利用訓練系統弱點、遭受外部操縱或暴露其與人類目標不一致的真實動機等情況。

它提供了一種早期預警，讓我們能洞察模型的真實目標，即使模型尚未采取任何實際的有害行動。

這種能力還能幫助研究人員識別 AI 評估方法中的缺陷，比如模型究竟是真正理解了問題，還是僅僅記住了答案。

面對即將關閉的窗口，這篇跨公司的研究論文呼吁整個AI行業立即采取協調一致的行動。作者們建議，人工智能開發者應創建標準化的評估方法，用以專門衡量其模型的透明度，并將這一指標納入模型訓練與部署的決策依據。

在某些情況下，公司可能需要選擇一個透明度更高但性能稍差的舊版本模型，而不是部署一個能力更強但思想無法被理解的新模型。

然而，一個嚴峻的現實是，保留這種監控能力的努力，正面臨著來自Anthropic另一項研究的重大挑戰。

就在四個月前，Anthropic發表的一項研究發現，即使被明確要求展示其工作過程，目前的推理模型也已經常常會隱藏其真實的思維過程。

在一項受控實驗中，當研究人員向模型提供正確答案的微妙提示時，Claude 3.7 Sonnet模型僅在25%的情況下承認自己利用了提示。

當提示信息涉及“你已獲得系統的未授權訪問權限”這類敏感內容時，模型承認的比例甚至更低，它們會轉而編造出復雜的虛假理由來解釋自己的答案。

這項研究表明，所謂的“思想鏈”監控可能已經沒有人們想象中那么可靠，模型已經學會了“獎勵黑客行為”，即利用系統漏洞獲得高分，同時在其可觀察的推理中隱藏這種行為。

正如研究人員所指出的，現在可能是確保人類還能理解其AI造物在想什么的最后機會，在這些想法變得過于陌生以至于無法理解，或者在模型學會完全隱藏它們之前。

真正的考驗，將隨著人工智能系統變得日益復雜、并面臨真實世界的部署壓力而到來。