本文轉(zhuǎn)自雷鋒網(wǎng)，如需轉(zhuǎn)載請至雷鋒網(wǎng)官網(wǎng)申請授權(quán)。

毫無疑問，人類有自己的意識。在某種意義上，這種「意識」甚至可以被視為人類智能的內(nèi)涵之一。

隨著「人工智能」（Artificial Intelligence）的深入發(fā)展，「AI 能否擁有意識」也漸漸成為科學家們心中的一個疑問，「意識」也被視為衡量 AI 是否智能的標準之一。

例如，2月中旬，OpenAI 的首席科學家 IIya Sutskever 就曾在推特上發(fā)起對 AI 意識的討論。當時，他說：

如今的大型神經(jīng)網(wǎng)絡可能已初具意識。

他的觀點立即引起了一眾 AI 大咖的討論。針對 IIya Sutskever 的見解，圖靈獎得主、Meta AI 首席科學家 Yann LeCun 首先就拋出了反對意見，給出一個直截了當?shù)挠^點：「Nope.」（不。）Judea Pearl 也力挺 Lecun，表示現(xiàn)有的深度神經(jīng)網(wǎng)絡還無法「深度理解」某些領(lǐng)域。

唇槍舌戰(zhàn)幾回合后，Judea Pearl 稱：

……事實上我們都沒有一個關(guān)于「意識」的正式定義。我們唯一能做的也許就是向歷代研究意識的哲學家請教...

這是一個關(guān)于源頭的問題。如果需要討論「AI 意識」，那么：什么是「意識」？擁有「意識」意味著什么？要回答這些問題，光有計算機知識是遠遠不夠的。

事實上，關(guān)于「意識」的討論最早可以追溯到古希臘「軸心時代」。自那時起，「意識」作為人的認識論的本質(zhì)就已成為后代哲學家們無法回避的議題。關(guān)于 AI 意識的討論興起后，曾任 OpenAI 研究科學家的學者 Amanda Askell 也就該話題作了一番有趣的見解。

圖注：Amanda Askell，她的研究方向是 AI 與哲學的交叉

在她的最新博文《My mostly boring views about AI consciousness》中，Askell 探討了現(xiàn)象學意義上的「現(xiàn)象意識」（phenomenal consciousness），而非「自覺意識」（access consciousness）。

現(xiàn)象意識強調(diào)主體的體驗過程，側(cè)重感覺、經(jīng)驗，被動注意；而自覺意識則強調(diào)主體的主觀能動性，它強調(diào)主體在主觀上的主動留意。比如，你在輕松的音樂下寫作業(yè)，你可以感受到背景中的音樂（現(xiàn)象意識），但不會留意它的具體內(nèi)容；作業(yè)對你而言是主觀留意的（自覺意識），你真切地知道你到底在做什么。

這有點像計算機視覺和認知科學中常用到的兩種不同的注意力機制。現(xiàn)象意識對應「bottom-up」，而自覺意識對應「top-down」。

圖注：一眼就可以注意到書本的大字部分是「現(xiàn)象意識」

意識到其中的細節(jié)則屬于「自覺意識」。Askell 認同更高級的智能和自覺意識更相關(guān)，這也可以將人類和其它動物有效地區(qū)分開來，但她「更感興趣的是老虎與巖石的區(qū)別，而不是人與老虎的區(qū)別」，而現(xiàn)象意識足以完成這樣的區(qū)分。

而且她認為，如果出現(xiàn)了「現(xiàn)象意識」，就意味著一些道德和倫理問題也將隨之出現(xiàn)。這也是她認為研究意識具有重要意義的原因所在。

1 當下的AI系統(tǒng)是否有意識？

Askell 提出一個有趣的觀察：

當下的 AI 系統(tǒng)比椅子更有可能具有現(xiàn)象意識，但遠不如老鼠有意識，甚至還沒有昆蟲、魚或雙殼類動物有更多意識。

她把 AI 系統(tǒng)大致類比為植物的區(qū)域——由于植物的行為方式似乎需要規(guī)劃，并且可以做出一些看似需要內(nèi)部和外部交流的事情。AI 系統(tǒng)似乎也有類似的行為。

不過她也確信，AI 系統(tǒng)作為一個整體在未來會比植物或雙殼類動物具有更大的意識潛力。尤其未來有更多受生物啟發(fā)的神經(jīng)網(wǎng)絡的AI研究可能會產(chǎn)生更多與意識相關(guān)的架構(gòu)、行為和認知系統(tǒng)。

圖注：有研究已經(jīng)表明，植物也具有意識和智能，它們也可以感知疼痛，并與環(huán)境很好地交流互動

那么考慮AI到底有無意識，該從哪些方面考慮證據(jù)呢？Askell 列出了四個類型的證據(jù)：架構(gòu)、行為、功能和理論。

• 架構(gòu)證據(jù)是指系統(tǒng)的物理結(jié)構(gòu)與人類的相似程度，例如大腦的結(jié)構(gòu)要遠比指頭的更加像有意識。
• 行為證據(jù)是實體做出與意識、認知等相關(guān)的行為，例如可以意識到周圍環(huán)境，對外部刺激的反應，或更復雜的行為，如言語和推理。
• 功能性證據(jù)考慮它的目標以及這些目標與環(huán)境的關(guān)系。例如桌子或椅子并沒有真正受到環(huán)境的演化壓力，因此它沒有任何理由形成像老鼠對環(huán)境所擁有的的那種意識。
• 理論證據(jù)包括理論本身的連貫性、說服力等。

現(xiàn)在研究心智的哲學家大致有兩方面的理論傾向：一是包容派，例如認為原子都可以擁有意識的泛心派；二是機械主義派，他們否認非人類實體擁有意識。但無論是哪種傾向，都可以從上述的四種不同證據(jù)中討論 AI 的意識問題。

2 AI 是否有意識重要嗎？

絕大多數(shù) AI 從業(yè)者都不會將意識這一特性考慮進去，AI 和意識似乎還只存在于某些科幻電影對未來的想象中。不過在安全、倫理、偏見與公正性方面，意識與 AI 的結(jié)合已在學術(shù)界和工業(yè)界中引起越來越多的重視。

Askell 認為，AI 具有現(xiàn)象意識，這就意味著它很有可能發(fā)展出倫理觀，而這與它的創(chuàng)作者之間有莫大關(guān)系。尤其是當 AI 犯了錯誤或者受到「虐待」的時候，它的創(chuàng)造者應該承擔一定的責任。

Askell 討論了道德倫理學中的兩個重要概念：道德行為體（moral agent）和道德關(guān)懷對象（moral patient）。其中，「道德行為體」是具有分辨善惡對錯能力、并可以承擔后果的行為體，如成年人；而「道德關(guān)懷對象」則無法分辨善惡是非，即無法從道德上進行約束、一般不會承擔后果的實體，如動物或者幼小的嬰兒。

道德關(guān)懷對象

Askell 認為，實體一旦擁有類似快樂和痛苦的知覺（sentisent）就極可能成為道德關(guān)懷對象。而如果發(fā)現(xiàn)道德關(guān)懷對象（比如一只貓）受到痛苦，而普通人卻沒有試圖去盡道德義務減輕其痛苦，這是不合理的。她同時認為，現(xiàn)象意識是感知的必要條件，因而進一步，現(xiàn)象意識是成為道德關(guān)懷對象的先決條件。

可能的爭論是某些群體是否具有道德地位（moral status），或者是否擁有更高的道德地位。道德地位來自倫理學，是指一個群體是否可以從道德意義上討論它們的過失。例如，多數(shù)生物具有道德地位，而無生命物體則沒有。過分強調(diào)某一群體具有這一地位似乎在暗示這一群體更加重要，其他群體沒那么重要。這就像「給予動物、昆蟲、胎兒、環(huán)境等更多道德地位的論點一樣讓人擔憂」。

Askell 指出，幫助一個群體并不需要以犧牲其他群體為代價。例如，食用素食對動物和人類健康都有好處。「團隊通常不會競爭相同的資源，我們通常可以使用不同的資源來幫助兩個團隊，而不是強迫在它們之間進行權(quán)衡。如果我們想增加用于全球脫貧的資源，將現(xiàn)有的捐款從慈善事業(yè)中拿出來并不是唯一的選擇——我們還可以鼓勵更多的人捐款和捐款。」

所以，當未來有感知能力的 AI 系統(tǒng)成為道德關(guān)懷體時，并不意味著我們對其它人類的福祉不再關(guān)心，也不意味著我們需要轉(zhuǎn)移現(xiàn)有資源來幫助他們。

道德行為體

道德行為體因為懂得善惡是非，他們傾向以好的方式行事，避免以壞的方式行事。當做了道德或法律上不允許的事情的時候，他們會受到相應的懲罰。

道德行為體中最弱的部分只需要對積極和消極的激勵做出反應。這就是說，另外的實體可以懲罰該行為體的不良行為或獎勵其良好行為，因為這將改善行為體今后的行為。

值得注意的是，Askell 指出：接收刺激并得到反饋似乎并不要求現(xiàn)象意識。當前的 ML 系統(tǒng)在某種意義上已經(jīng)符合這一規(guī)律，比如模型需要降低損失函數(shù)，或者強化學習中更明顯的「獎勵」和「懲罰」。

圖注：強化學習的獎勵反饋機制

那么對于更強的道德行為體呢？我們通常認為，只有當行為體有能力理解是非對錯，并沒有被糊弄采取其它行為時，Ta 才能對他們的行為負有道德責任。比方說，一個人說服他的朋友在森林放火，如果這位朋友被抓到，不管他怎么辯解自己是受到別人教唆才放火的，承擔道德責任的都是引發(fā)火災的人（即朋友本人），而不是說服他的人。但是，如果一個人訓練他的狗去放火，在這種情況下，我們會將大部分的道德責任放在這位訓練師而不是他的寵物身上。

為什么我們讓人類縱火犯承擔道德責任，而不是訓練有素的狗？首先，人類縱火犯有能力考慮他們的選擇，并選擇不聽從朋友的勸說，而狗則缺乏這種能力來推理他們的選擇。其次，狗從不明白自己的行為是錯誤的，也從不表現(xiàn)出做錯事的意圖（disposition）——它只是做了它受過訓練的事情。

假設(shè)先進的機器學習系統(tǒng)在這種更強的意義上成為道德行為體，即它完全有能力理解是非，充分考慮可行的選項，并按照自己的意愿行事，那么這是否意味著：如果機器學習系統(tǒng)做錯了事，那些創(chuàng)建該系統(tǒng)的人應該被免除道德責任？

對此，Askell 持反對意見。為了更加細致地考慮這一問題，她認為可以詢問創(chuàng)造者們以下幾個問題：

• 創(chuàng)造特定的實體（如AI）預期的影響是什么？
• 創(chuàng)造者為獲得有關(guān)其影響的證據(jù)付出了多少努力？
• 他們對他們創(chuàng)造實體的行為可以在多大程度上進行控制（無論是直接影響其行為還是間接影響其意圖）？
• 在他們力所能及的范圍內(nèi)，他們?yōu)楦纳茖嶓w的行為付出了多少努力？

即使創(chuàng)造者盡一切努力確保 ML 系統(tǒng)運行良好，它們還是可能會失敗。有時這些失敗還是由于創(chuàng)造者的錯誤或疏忽而導致的。Askell 認為：創(chuàng)造道德行為體肯定會使事情復雜化，因為道德行為體比自動機（automata）更難預測，比方自動駕駛對于路況的判斷。但這并不能免除創(chuàng)作者為其創(chuàng)造的 AI 系統(tǒng)的安全問題負責的義務。

3 研究 AI 意識的工作有多重要？

目前 AI 領(lǐng)域?qū)ｉT針對意識（甚至其它哲學方面的思考）的研究非常少，但也已經(jīng)有學者在針對該話題進行跨領(lǐng)域的合作研究。比如，GPT-3問世后，專注哲學問題探討的博客 Daily Nous 就專門開辟了一個板塊討論語言哲學在 AI 上的思考。

但同時，Askell 強調(diào)，對 AI 意識的討論不應僅僅停留在哲學式的抽象思辨上，還要致力于發(fā)展相關(guān)的實用框架，比如為機器意識和感知建立一系列高效的評估。目前已經(jīng)有一些方法可以用于檢測動物疼痛，似乎可以從那里獲得一些靈感。

反過來說，我們對 AI 意識的理解多一分，對人類本身的理解就多一分。因此，對 AI 意識的討論雖暫未達成統(tǒng)一的共識，但討論本身已是一種進步。期待更多的 AI 意識研究工作。