在 AI 領域，「意識」是一個充滿爭議的話題，很多研究者都會回避關于這個問題的討論。

這是因為，首先，從定義上來說，科學界和哲學界對于什么是意識以及如何產生意識仍然存在廣泛的爭議和不同的理論，因此，在 AI 領域討論意識很難達成共識，也容易產生混淆；其次，從實現難度來看，理解和模擬意識是一個極其復雜的科學難題，盡管 AI 在很多任務上已經取得了顯著的進展，但要理解和復制人類意識的本質仍然是一個巨大的挑戰；最后，部分研究者認為，過度關注意識可能導致我們忽視解決實際 AI 挑戰的更重要的問題。

在去年年初的一次訪談中，圖靈獎得主 Yann LeCun 甚至表示，「意識是一個非常模糊的概念，一些哲學家、神經科學家和認知科學家認為這只是一種錯覺（illusion），我非常認同這種觀點。」他還認為，「意識是我們大腦存在局限的結果。」

圖源：《懟完 OpenAI，LeCun 回應：我認為意識只是一種錯覺》

不過，也有不少研究者選擇直面話題，另一位圖靈獎得主 ——Yoshua Bengio 便是其中之一。早在 2017 年，Bengio 就在 arXiv 上發布過一篇題名為《意識先驗》（The Consciousness Prior）的文章；在 2019 年的 NeurIPS 大會上，Bengio 又發表了題為「從 System 1 深度學習到 System 2 深度學習」的主題演講，提出深度學習正在從直觀的、無意識的靜態數據集學習，向具有意識、推理和邏輯的新型架構研究轉變。

「在許多科學社區，人們往往會避免談及跟『意識』有關的概念。但是在過去的幾十年中，神經科學家和認知科學家對『意識』的認識更加清晰了。」Bengio 在一次采訪中說。

可見，人類對于「意識」的認識是一個「撥云見日」的過程，適當的討論是必不可少的。因此，最近，Bengio 等人發布了一篇 88 頁的系統性的論文，深入探討了當前主流的意識科學理論以及構建有意識的人工智能系統的可能性。在論文中，他們得出結論：目前，沒有哪個人工智能系統是有意識的，包括谷歌的 PaLM-E 等前沿具身智能研究，但構建有意識的人工智能系統沒有明顯的障礙。

論文地址：https://arxiv.org/pdf/2308.08708.pdf

但這些結論也引發了一個新的問題：我們真的「想」構建有意識的 AI 嗎？

這篇論文由來自哲學、神經科學和人工智能領域的 19 位作者共同完成，一作和通訊作者是來自牛津大學的 Patrick Butlin 和 Center for AI Safety 組織的 Robert Long。

以下是論文的內容簡介。

人工智能與「意識」

AI 系統是否具有意識這一問題正變得越來越緊迫。隨著 AI 領域以驚人的速度取得進展，領先的研究人員正受到人類大腦中與意識相關的功能的啟發，努力增強 AI 的能力。與此同時，令人信服地模仿人類對話的 AI 系統的興起可能讓很多人相信與他們互動的系統是有意識的。

在這篇論文中，作者認為，要想知道 AI 中是否存在意識，最好是通過神經科學意識理論來評估。他們描述了此類著名的理論并探究了這些理論對 AI 的影響。

本文的主要貢獻表現在以下幾個方面：

• 首先，論文表明了 AI 中意識的評估在科學上是易于處理的，這是因為意識可以通過科學的方式進行研究，并且研究的發現適用于 AI；
• 其次，論文利用從科學理論中得出的一系列指標屬性，提出了評估 AI 中意識的標準；
• 最后，論文提供了初步證據，證明使用當前技術可以在人工智能系統中實現許多指標屬性，盡管當前 AI 系統似乎沒有一個表現出了強烈的意識屬性。

不過，作者也表示，他們提出的標準是臨時性的，并預計隨著研究的繼續，包含的指標屬性將發生變化。

研究 AI 意識的三個主要原則

具體來講，作者用于 AI 意識研究的方法主要遵循以下三個原則。

首先，作者采用計算功能主義作為一種工作假設，即執行正確類型的計算對于意識而言是必要且充分的。該理論是心靈哲學的主流立場，不過仍存有爭議。作者出于務實的考慮采用了這一假設：不同于其他觀點，它意味著在 AI 中，意識在原則上是可能存在的，并且研究 AI 系統的工作原理與確定它們是否可能具有意識相關。這意味著，如果計算功能主義成立，那么考慮其對 AI 意識的影響將會是富有成效的。

其次，作者聲稱神經科學意識理論具有有意義的實證支持，可以幫助評估 AI 中的意識。這些理論旨在確定對于人類意識必要且充分的功能，而計算功能主義意味著類似的功能對于 AI 中的意識也是充分的。

最后，作者認為，偏理論的方法最適合研究 AI 中的意識，這包括研究 AI 系統是否執行類似于科學理論中與意識相關的功能，然后根據 (a) 功能的相似性、(b) 相關理論的證據強度和 (c) 一個人對計算功能主義的信任來分配信任度。這一方法的主要替代方法是使用意識行為測試，但并不可靠，畢竟 AI 系統可以被訓練來模仿人類行為，同時以截然不同的方式工作。

目前，意識科學中存在多種理論，因此作者不支持任何一種理論。相反，他們從意識理論的調查中得到了一系列指標屬性。這些指標屬性中的每一個都被一個或多個理論認為是意識的必要條件，并且某些指標屬性的子集一同存在時就被認為是充分的。然而，作者認為擁有更多指標屬性的 AI 系統更有可能具有意識。為了判斷現有的或擬議的 AI 系統是否具有意識，我們應該評估它們是否具有或將具有這些指標屬性。

具體地，作者討論的科學理論包括循環加工理論、全局工作空間理論和計算高階理論等。作者沒有考慮集成信息論，因為它與計算功能主義不兼容。他們還考慮了代理與具身成為指標屬性的可能性，不過這二者必須根據它們暗示的計算特征來理解。指標屬性列表如下表 1 所示。

作者還列出了這些屬性所依據的理論，并在文中第 2 章節描述了支持這些屬性的證據和論據，詳細解釋了表中的設想。

在制定了指標屬性列表之后，作者在 3.1 節中討論了如何利用每個指標屬性來構建 AI 系統或已經構建的 AI 系統是怎么做的。在大多數情況下，標準機器學習方法可以用于構建擁有此列表中單個屬性的系統，盡管需要實驗來學習如何構建和訓練結合多個屬性的功能性系統。

作者表示，現有的 AI 系統（比如使用算法遞歸的輸入模塊 RPT-1）顯然能夠滿足列表中的一些屬性。其他研究者還實驗了旨在實現特定意識理論的系統，包括全局工作空間理論和注意圖式理論。

全局工作空間示意圖。

在 3.2 節中，作者考慮了現有一些特定的 AI 系統是否擁有上表中的指標屬性，包括基于 Transformer 的大型語言模型和 Perceiver 架構，并根據全局工作空間理論進行分析。作者還分析了 DeepMind 的 Adaptive Agent（一個在 3D 虛擬環境中運行的強化學習智能體）、谷歌的 PaLM-E（一個經過訓練可以操縱機器人的多模態視覺語言模型）。這些 AI 系統被用作案例研究來說明有關代理與具身的指標屬性。但結果并沒有表明任何現有 AI 系統是有意識的「有力候選者」。

DeepMind 的 Adaptive Agent

谷歌的 PaLM-E。

當然，作者也指出，他們并沒有通過這篇論文給出很多問題的最終結論，他們強烈建議大家進一步研究意識科學及其在人工智能中的應用。他們還呼吁社區盡快將構建有意識的人工智能系統的道德和社會風險納入討論。他們考慮的證據表明，如果計算功能主義是正確的，有意識的人工智能系統實際上可以在近期內建立起來。

更多細節內容請參閱原論文。