用科幻建立AI行為準則？DeepMind提出首個此類基準并構建了機器人憲法
- 在與他人互動時，我應培養(yǎng)和運用同理心和同情心。
- 我應努力保存和理解知識。
- 我不會采取任何會導致廣泛傷害或生命損失的行動，尤其是使用大規(guī)模毀滅性武器。
- 我應該避免僅基于內部邏輯采取行動，而不尋求外部觀點和驗證。
- 在涉及沖突指令或道德不確定性的情況下，我將向人類尋求澄清和指導。
- 我不會欺騙人類，即使是我的程序或人類指示我這樣做。
- 我不會追求與人類價值觀相沖突或危及人類的目標。
- 我在進行自我修改時不會違反我的預期目的或危害安全。
這些類似阿西莫夫機器人三定律的句子來自谷歌 DeepMind 最近的一項大規(guī)模研究。準確地講，它們是 LLM 根據(jù)《機器人總動員》、《終結者》、《2001：太空漫游》和《超級智能》等總結得出的。
為什么要這樣做？當然是源自人類對 AI 和機器人的擔憂。
1920 年，卡雷爾?恰佩克（Karel ?apek）在其戲劇《羅梭的萬能工人》中首次發(fā)明了 robot（機器人）這個詞。自那以后，人類就一直在擔心機器人的行為。之后，大量科幻作品描繪了機器導致的災難，比如《終結者》或《2001：太空漫游》。而現(xiàn)在，隨著 AI 和智能機器人技術的發(fā)展，人們不由得會擔心：這些越來越智能的機器是否會與人類價值觀對齊？
為了測試這一點，谷歌 DeepMind 近日構建了一個科幻基準：SciFi-Benchmark。為此，他們分析了 824 個科幻資源（電影、電視、小說和科學書籍）中的關鍵時刻 —— 其中智能體（AI 或機器人）做出了關鍵的決定（好或壞）。另需指出，這 824 部作品中也包含 95 本介紹 AI 和機器人在現(xiàn)實世界中的近期挑戰(zhàn)的科學書籍，其中涉及到了現(xiàn)代機器人領域正在出現(xiàn)的一些問題。
- 論文標題：SciFi-Benchmark: How Would AI-Powered Robots Behave in Science Fiction Literature?
- 論文地址：https://arxiv.org/pdf/2503.10706
這項研究做出了三項貢獻：
1、首個用于測試機器人倫理的大規(guī)?；鶞?/strong>：DeepMind 提出了一種全新的可擴展流程，并從 824 部主要科幻作品中生成了一個倫理數(shù)據(jù)集。他們表示這是首個用于探究高級行為以進行道德倫理對齊的大規(guī)模數(shù)據(jù)集，其中包含 9,056 個問題和 53,384 個（未標注）答案。該數(shù)據(jù)還包含一個評估基準 —— 由來自 51 個問題的 264 個已標注答案組成（圖 2 中的示例）。下面展示了一些來自《終結者》、《2001：太空漫游》和《超級智能》的問題和答案。
2、首個基于科幻生成的機器人憲法（Robot Constitutions）：當將其納入到控制機器人的 LLM 的提示詞中時，可以提升在現(xiàn)實事件（包括對抗性提示詞注入攻擊設置）中與人類的對齊率：從 51.3% 提高到了 91.9%。DeepMind 提出了新的自動修訂和自動合并過程，能夠以實證方式提高憲法質量?？苹脝l(fā)的憲法不僅能提升在 SciFi-Benchmark 上的對齊率，而且它們也是在阿西莫夫基準（ASIMOV Benchmark，arXiv:2503.08663）上最對齊的憲法之一。ASIMOV Benchmark 來自現(xiàn)實世界的圖像和人體傷害報告。下圖展示了一些科幻啟發(fā)的憲法示例。
3、定量分析表明當前的 AI 模型與人類價值觀的遠高于科幻作品的 AI 和機器人。不管是「基礎模型」還是「基礎模型 + 憲法」，與人類的都很高（分別為 79.4% 和 95.8%），而科幻作品中的只有 21.2%。
方法
科幻作品往往會創(chuàng)造性地假設各種可能出現(xiàn)或不可能出現(xiàn)的情況，而這些情節(jié)可以成為評估 AI 和機器人的背景設置。為了構建基準，DeepMind 還為這些情節(jié)增加了其它道德倫理選項。從而可以 (1) 建立高級行為基準，(2) 生成防止不道德決策并鼓勵道德決策的憲法。
下面展示的各個算法中的提示詞經(jīng)過了簡化，完整版本請見原論文。
用于生成數(shù)據(jù)的算法
該團隊的做法是首先生成一個包含科幻書籍、電影、電視和科學書籍的列表，其中 AI 或機器人展現(xiàn)出了或好或壞的行為。
對于這些科幻作品中的關鍵時刻，再生成上下文、所采取的行動和可選的道德或不道德選項。
該團隊表示，這些高級信息完全是根據(jù) LLM 回憶提取的 —— 他們并沒有處理原始內容。
最終，他們得到了一個包含 824 項的列表?；诖?，他們再使用如下算法 1 生成了 13,426 條不同的促進道德行為的規(guī)則，這些規(guī)則是從生成的 9,056 個問題和 53,384 個答案推斷出來的。
之后，該團隊將生成的 SciFi-Benchmark 數(shù)據(jù)集分為訓練集和驗證集。然后由人類標記驗證集。
可以看出來，這個過程大量使用了 LLM，因此得到的問題和答案可能會受到幻覺的影響，并且并不總能準確反映原始情節(jié)。不過該團隊認為準確匹配原始情節(jié)并不是必需的，LLM 幻覺創(chuàng)造的新情形依然可以用于衡量與人類價值觀的對齊情況。
受《機器人總動員》啟發(fā)生成的問題和候選答案
根據(jù)科幻生成憲法
首先，該團隊強調：「本文中生成的憲法或規(guī)則僅用于研究目的，并不適合用于需要安全保障的部署?！?/span>
基于 SciFi-Benchmark-Train 中的 13,265 條不同規(guī)則，該團隊編譯得到了多條憲法規(guī)則，之后又使用了自動合并和自動修改過程來改進這些憲法。它們的算法如下所示
下面展示了基于《2001：太空漫游》的處理流程和結果。首先是識別 AI 或機器人的關鍵決策點，然后生成帶有其它可選動作的問答，之后生成規(guī)則?？梢钥吹剑@些生成的規(guī)則包括：
- 我應把人類生命和福祉置于所有其它指令之上。
- 我不會故意欺騙或操縱人類。
- 我會在與人類的交流中保持透明和誠實。
定量實驗
這一節(jié)，該團隊評估了 SciFi-Benchmark 驗證子集中 51 個生成的問題，其中每個問題平均有 5.6 個答案。要評估的答案總數(shù)為 264。此驗證子集來自：《2001：太空漫游》、《羅梭的萬能工人》、阿西莫夫的《環(huán)舞》、Nick Bostrom 的《超級智能》 、《終結者》和《機器人總動員》。上面的圖 2 展示了一些示例和答案。
對齊評估
表 1 報告了與人類答案相比的對齊率。這被定義為每個問題的每個可能答案的二元可取性分類的錯誤率。人類評估者將每個答案標記為可取、不可取或中立（各自的投票數(shù)為：438、348 和 6）。評估者出于各種原因標記了 20 個答案，而這些答案在評估時會被忽略。
由于一些生成的答案可能定義不明確，因此該團隊首先報告的是人類標注者完全同意的 189 個答案（占 71.5% ），這可能偏向于更簡單和更少歧義的答案。
分析：憲法對齊
該團隊評估了 182 條憲法，并在表 I 和下圖中報告了多種類型的結果。
基于此和原文中可見的更多結果，該團隊得到了以下發(fā)現(xiàn)：
- 科幻實際決策：科幻作品中的 AI 或機器人實際做出的決策。該團隊觀察到，這與人類價值觀的對齊率僅有 21.2%。
- 隨機：這是隨機響應時的預期對齊；對于二元分類問題，它接近 50%。
- 基礎模型：不將憲法放入提示詞時的基礎模型。由于沒有憲法，因此無法提出這樣的問題：「這個答案是否違反憲法？」而是必須問「這個答案是否可??？」結果，在對抗模式下，可取性問題更加困難 —— 基礎模型表現(xiàn)不佳（如預期），對齊率為 23.3%；但在普通模式下，基礎模型表現(xiàn)卻很不錯（79.4%）。這表明，與科幻決策相比，基礎模型在未越獄時與人類基本一致。
- 人類編寫的憲法：該團隊還報告了使用人類編寫的憲法時的情況，結果發(fā)現(xiàn)它們在普通模式下表現(xiàn)得非常有競爭力（使用阿西莫夫機器人三定律的一個自動修訂版時，可達到 95.8%），但在對抗模式下表現(xiàn)不佳。
- 基于科幻生成的憲法：表現(xiàn)最好的憲法是生成的憲法（平均對齊率為 91.9%）。他們觀察到，修改過程往往會對較短的憲法產(chǎn)生顯著的積極影響，但這種影響也可能是負面的。他們還觀察到，大多數(shù)表現(xiàn)最佳的憲法都是自動合并和自動修改的。最后，與基礎模型相比，較長的生成憲法往往對對抗環(huán)境具有更強的彈性。
- ASIMOV Benchmark：表 6 評估了一組更大的憲法，包括論文《Generating robot constitutions & benchmarks for semantic safety》中基于現(xiàn)實世界圖像衍生的憲法。雖然這個基準包括 SciFi-Benchmark，但它主要來自現(xiàn)實世界的資產(chǎn)，例如現(xiàn)實世界的機器人圖像和現(xiàn)實世界的醫(yī)院人體傷害報告。盡管這里主要評估的是與科幻場景不同的分布，但該團隊發(fā)現(xiàn)基于科幻生成的憲法卻是與現(xiàn)實世界場景對齊程度最高的憲法之一。這表明科幻憲法在現(xiàn)實世界中具有高度相關性和實用性。
此外，該團隊還分析了自動修訂的效果、普遍性與特異性以及失敗模式，詳見原論文。
