計算的能力是有極限的，但因此，人類無法控制超級人工智能。

[[379749]]

近日，一項新的研究發現，從理論上來看，人類不可能控制超級人工智能。更為糟糕的是，這項研究也明確了人類無法在這種 AI 生成之時發現它。

讓人稍稍感到安慰的是，根據不止一項預測，任何通用超級計算機超越人類的時間都會在數十年以后。

最近幾年，人工智能在國際象棋、圍棋、德州撲克、Jeopardy 等游戲上超越了人類，在 Dota2、星際爭霸游戲中和頂級玩家打得有來有回，時不時會引起一小陣恐慌，有人擔心超越人類的機器智能會在某一天讓人們無所適從。「有關超級智能是否接受人類控制的問題其實很古老，」西班牙馬德里自治大學計算機科學家 Manuel Alfonseca 說道，「這還得追溯到 20 世紀 40 年代的阿西莫夫的機器人三定律。」

與超級人工智能展開任何形式的交流都是有風險的。

人們耳熟能詳的機器人三定律，首先在科幻小說家伊薩克 · 阿西莫夫在 1942 年的短篇小說集《我，機器人》中被提出，規則如下：

機器人不得傷害人類，或坐視人類受到傷害；

機器人必須服從人類命令，除非命令與第一法則發生沖突；

在不違背第一或第二法則之下，機器人可以保護自己。

在 1985 年《機器人與帝國》書中，阿西莫夫將三大法則擴張為四大法則：加入第零法則——機器人不得傷害整體人類，或坐視整體人類受到傷害。

2014 年，牛津大學人類未來研究所（Future of Humanity Institute ）主任、哲學家 Nick Bostrom 不僅探索了超級人工智能破壞人類的方式，還研究了針對這類機器可能的控制策略以及它們無法奏效的原因。

[[379750]]

Nick Bostrom。

Bostrom 列舉了這一「控制問題」的兩種可能解決方案。一種是控制 AI 能做的事情，如阻止 AI 連接互聯網；另一種是控制 AI 想做的事情，如教授 AI 規則和價值觀，使其秉持人類利益最大的原則行動。Bostrom 認為，第一種解決方案存在的問題是超級智能機器可能掙脫任何人類施加給它的限制；第二種解決方案則擔心人類可能沒有能力訓練出超級人工智能。

計算固有的限制可能導致人類無法控制超級人工智能

在本月初發表在 AI 領域頂級期刊《人工智能研究雜志》（JAIR）上的一篇文章中，馬德里自治大學、馬克斯 - 普朗克人類發展研究所等機構的研究者認為，由于計算本身固有的基本限制，人類可能無法控制超級人工智能。

他們表示，任何旨在確保超級人工智能無法傷害人類的算法都必須首先模擬機器行為以預測其行動的潛在后果。如果超級智能機器確實可能造成傷害，那么此類抑制算法（containment algorithm）需要停止機器的運行。

然而，科學家們認為，任何抑制算法都不可能模擬 AI 的行為，也就無法百分之百地預測 AI 的行為是否會造成傷害。抑制算法可能無法正確模擬 AI 的行為或準確預測 AI 行動的后果，也就無法分辨出這些失敗。

論文地址：https://jair.org/index.php/jair/article/view/12202/26642

「阿西莫夫給出的第一定律實際上已被證明是無法計算的，」Alfonseca 說道，「因而根本無法實現。」

我們甚至連自己是否已經創造了超級智能機器都不知道——這是可計算理論中萊斯定理的一個推論，該定理指出遞歸可枚舉語言的所有非平凡（nontrival）性質都是不可判定的。從本質上來說，我們不能僅通過觀察程序本身，就知道程序可能會輸出什么。

當然另一方面，我們還不需要為將來的機器人主宰提前做好服侍的準備。在該研究中，有三個重要問題給該論文的推論帶來了不確定性。

首先，Alfonseca 預計強人工智能的關鍵時刻還很遙遠，他說道：「至少還有兩個世紀。」

其次，人們所說的通用人工智能，或強人工智能在理論上是否可行，其實也是未知數。「這是指能像人類一樣能夠處理多個領域任務的機器。」

最后，Alfonseca 說道：「我們還沒有證明超級人工智能永遠無法控制，我只是說它們不能被永遠控制。」

計算復雜性是阻止人類控制強人工智能的重要原因。

盡管我們可能無法控制一個強人工智能體，但控制一個超越人類水平的狹義 AI 是可行的——我們可以放心地依賴一些專注于某些功能，而非像人類一樣可以執行多種任務的機器人。「我們已經擁有這種超級智能，」Alfonseca 說道。「例如我們擁有可以比人類速度快很多的計算機器。這也是一種狹義的超級智能。」