馬庫(kù)斯總結(jié)16項(xiàng)「可信AI」要求，符號(hào)主義+神經(jīng)網(wǎng)絡(luò)攜手打造AGI！40年前的Cyc成版本答案

作者：新智元 2023-08-25 13:26:00

在互聯(lián)網(wǎng)時(shí)代，存儲(chǔ)知識(shí)變得沒(méi)那么重要，可信的AI應(yīng)該掌握搜索能力，并解釋這些知識(shí)，推理其出處和可信度，推導(dǎo)出邏輯上順理成章的事情，至少像大多數(shù)人一樣善于類(lèi)比（和從類(lèi)比中類(lèi)比），并在必要時(shí)盡快完成所有這些工作。

ChatGPT掀起了一股「生成式AI」的浪潮，所有任務(wù)都可以通過(guò)對(duì)話的方式生成答案，實(shí)現(xiàn)了接口、模型架構(gòu)的統(tǒng)一。

不過(guò)生成式AI也有缺陷，比如可控性很差，生成的結(jié)果經(jīng)常是「胡編亂造」，非常難以預(yù)測(cè)、不可解釋?zhuān)辉趶?fù)雜推理方面表現(xiàn)不佳。

最近，著名AI學(xué)者、Robust.AI的創(chuàng)始人兼 CEO 、紐約大學(xué)的名譽(yù)教授Gary Marcus發(fā)表了一篇論文，對(duì)可信的生成式AI提出了16項(xiàng)能力要求。

圖片

論文鏈接：https://arxiv.org/ftp/arxiv/papersw2308/2308.04445.pdf

文中還討論了如何結(jié)合「顯性知識(shí)和經(jīng)驗(yàn)法則」和大型語(yǔ)言模型，使推理引擎能夠自動(dòng)推導(dǎo)出所有知識(shí)的邏輯蘊(yùn)涵。

圖片

Cyc知識(shí)工程

和模糊的語(yǔ)言推理不同，在AI發(fā)展的早期大多采用手寫(xiě)規(guī)則的方式實(shí)現(xiàn)各種任務(wù)。

Cyc項(xiàng)目始于1984年，開(kāi)始的目標(biāo)是把人類(lèi)的上百萬(wàn)條常識(shí)編碼為機(jī)器可用的形式，包括「每棵樹(shù)都是植物」、「植物最終都會(huì)死亡」等基本知識(shí)，目前該知識(shí)庫(kù)已經(jīng)包含了320萬(wàn)條人類(lèi)定義的斷言，涉及30萬(wàn)個(gè)概念，15000個(gè)謂詞。

Cyc 的主要推理機(jī)制類(lèi)似于用「形式邏輯」表達(dá)的子句進(jìn)行「定理證明」。

比如說(shuō)給定一個(gè)場(chǎng)景：一個(gè)人看到自己的女兒邁出第一步（A person sees their daughter take her first step）。

此時(shí)AGI應(yīng)該能夠回答出「在這種情況下，那個(gè)人在笑嗎？如果是的話，為什么？」（Is that person smiling, in that situation? And, if so, why?)

演繹推理的第一步是用邏輯表達(dá)情境和問(wèn)題，設(shè)定3 個(gè)變量 p、d、e分別代表觀看的人、女兒和行走事件；?是AND（邏輯與）的符號(hào)。

圖片

問(wèn)題可以表示為：

圖片

假設(shè)還有一套「常識(shí)性」公理可用于連接情境和問(wèn)題，用自然語(yǔ)言來(lái)表達(dá)的話就是：

A1. 人們愛(ài)自己的孩子 People love their children

圖片

A2. 如果你發(fā)現(xiàn)你愛(ài)的人取得了重大成就，你會(huì)感到高興 If you find out that someone you love has accomplished something significant, it makes you happy

A3. 當(dāng)一件事讓你開(kāi)心時(shí)，你會(huì)微笑 When something makes you happy, you smile

A4. 對(duì)人來(lái)說(shuō)，邁出第一步是一項(xiàng)重大成就 Taking one’s first step is a significant accomplishment for people

A5. 如果你看到某些事件發(fā)生，你就會(huì)知道表演者和動(dòng)作 If you see some event happening, you know the performer and the action

A6. 一個(gè)人的女兒也是他的孩子 A person's daughter is one of their children

假設(shè)這些經(jīng)驗(yàn)法則都是默認(rèn)為真，再結(jié)合否命題：

圖片

就可以逐步推理出一個(gè)全新的公理，并得出最終答案，進(jìn)而回答出「為什么」。

Cyc項(xiàng)目的另一個(gè)優(yōu)勢(shì)是包含超1100個(gè)高級(jí)推理器，可以顯著提升推理速度。

可信AI的十六個(gè)能力

Cyc知識(shí)庫(kù)可以作為可信的知識(shí)源，輔助大型語(yǔ)言模型進(jìn)行糾錯(cuò)，可以更好地實(shí)現(xiàn)可信人工智能（trustworthy AI）。

1. 可解釋性（Explanation）

一個(gè)可信的AI不僅需要給出問(wèn)題的答案，還要描述出答案生成背后的推理過(guò)程，例如用戶(hù)可以反復(fù)追問(wèn)一系列「為什么會(huì)這樣」的問(wèn)題，可以通過(guò)模型了解更多基礎(chǔ)知識(shí)，并最終歸結(jié)到第一性原理和「既定」的基本真理上。

模型在推理鏈中引用的每一個(gè)證據(jù)、知識(shí)、經(jīng)驗(yàn)法則等，都需要給出其來(lái)源或出處。

圖片

在大多數(shù)情況下，這比人類(lèi)之間相互交流的標(biāo)準(zhǔn)更高，但在科學(xué)領(lǐng)域，以及在涉及家庭保健、財(cái)務(wù)等非常重要的決策時(shí)，用戶(hù)也希望獲取更細(xì)節(jié)的信息。

模型的解釋?xiě)?yīng)該盡可能簡(jiǎn)明扼要，并且能夠根據(jù)上下文、用戶(hù)擁有（或推斷擁有）的先驗(yàn)知識(shí)和隱性知識(shí)，以及用戶(hù)所處（或推斷所處）的資源限制，對(duì)細(xì)節(jié)進(jìn)行優(yōu)先排序和篩選。

2. 演繹推理（Deduction）

一個(gè)可信的AI應(yīng)該能夠像人類(lèi)一樣進(jìn)行演繹推理，比如說(shuō)人知道國(guó)家有邊界，并且安道爾是一個(gè)國(guó)家的話，那么就可以推斷出安道爾有邊界。

算術(shù)推理也是一種演繹推理，如果有人進(jìn)入了一個(gè)原本只有四個(gè)人的房間，那么房間里就會(huì)變成五個(gè)人。

圖片

下棋等游戲需要用到窮舉法推理，模型需要把所有可以行動(dòng)的點(diǎn)列舉出來(lái)，再判斷可行性。

演繹推理還包括識(shí)別兩個(gè)陳述之間存在明顯矛盾或是冗余的的情況。

3. 歸納推理（Induction）

當(dāng)某些結(jié)論無(wú)法從邏輯上推導(dǎo)出來(lái)時(shí)，可以作為演繹推理的補(bǔ)充，比如說(shuō)動(dòng)物的種類(lèi)通常決定了其解剖結(jié)構(gòu)的主要特征，如果一個(gè)新的無(wú)脊椎動(dòng)物叫做「無(wú)尾熊」，并且有八條腿和兩只翅膀，那可能會(huì)推斷出所有的無(wú)尾熊都有這種特征，不過(guò)這個(gè)結(jié)論可能是錯(cuò)誤的，但也足以應(yīng)對(duì)日常生活。

圖片

歸納推理更像是一種時(shí)間投射，比如某個(gè)結(jié)論在t1時(shí)間為真（現(xiàn)在有一棟房子），就可以推斷出它在t2時(shí)間點(diǎn)（兩年前或三年后擁有房子）為真的概率。

大多數(shù)此類(lèi)預(yù)測(cè)都遵循一種概率衰減曲線（線性、正態(tài)、高斯等），每個(gè)方向都有相應(yīng)的參數(shù)，類(lèi)似的預(yù)測(cè)也適用于地點(diǎn)、安全性和其他數(shù)十個(gè)維度。

在邊界（如州界）和中斷事件（如離婚和賣(mài)房，或不太明顯的電話鈴聲）中，情況會(huì)發(fā)生變化。

4. 類(lèi)比推理（Analogy）

人類(lèi)的許多推理都涉及到對(duì)「表面上不相關(guān)」的事物之間進(jìn)行類(lèi)比，所以模型必須先了解可能存在類(lèi)比關(guān)系的大量、廣泛的事物（物體、行為、屬性等）。

5. 溯因推理（Abductive Reasoning）

有時(shí)也稱(chēng)為最佳解釋推論（inference to the best explanation），如果一個(gè)看門(mén)人在一個(gè)房間里看到了一套椅子，這套椅子看起來(lái)就像看門(mén)人前一天晚上觀察到的那套椅子，那么在其他條件相同的情況下，就可以推斷出（可能不正確，但卻是最好的解釋?zhuān)┚褪沁@兩套椅子是同一套椅子。

6. 心智理論（Theory of Mind）

當(dāng)我們與他人交談時(shí)，通常可以很快建立出一個(gè)很好的模型，可以了解對(duì)方知道什么、有能力做什么、關(guān)心什么等等，然后再用這個(gè)模型來(lái)引導(dǎo)互動(dòng)：

比如與同事交談時(shí)更簡(jiǎn)潔，與陌生人交談時(shí)描述更多細(xì)節(jié)，與幼兒交談時(shí)使用更簡(jiǎn)單的概念和詞匯，或是考慮對(duì)方與自己有哪些共同的先驗(yàn)知識(shí)等。

圖片

同樣地，對(duì)于AI來(lái)說(shuō)，過(guò)于話癆會(huì)顯得居高臨下、過(guò)于簡(jiǎn)潔可能會(huì)導(dǎo)致回答含糊不清，或是被誤解。

人工智能應(yīng)該隨著與用戶(hù)互動(dòng)的加深，不斷增加新的時(shí)間標(biāo)記，而非只是覆蓋和保留最新的模型。

7. 量詞流暢性（Quantifier-fluency）

比如說(shuō)「每個(gè)瑞典人都有一個(gè)國(guó)王」，并且「每個(gè)瑞典人都有一個(gè)母親」，雖然表述上相同，但瑞典人的國(guó)王只有一個(gè)，而母親卻是不同的。

在邏輯學(xué)中，可以使用存在量詞、全稱(chēng)量詞可以避免這種歧義，不過(guò)普通人也可以從自然語(yǔ)言中區(qū)分開(kāi)，因?yàn)樵谕评磉^(guò)程中會(huì)引入關(guān)于家庭、母親、君主制等常識(shí)。

8. 情態(tài)流暢性（Modal-fluency）

人們經(jīng)常會(huì)使用「我希望」、「我感覺(jué)」等短語(yǔ)來(lái)修飾句子，甚至可以包含相當(dāng)深的嵌套語(yǔ)義關(guān)系，模型應(yīng)當(dāng)能正確理解句子主體。

9. 可撤銷(xiāo)性（Defeasibility）

人們聽(tīng)到的、讀到的、說(shuō)到的、相信的和推理出的很多東西都是默認(rèn)為真，但新信息層出不窮，如果當(dāng)時(shí)就知道這些信息的話，那么得出的許多結(jié)論可能會(huì)截然不同。

人工智能要想變得可信，就必須能夠吸收新信息，并修正先前的信念和答案。

對(duì)于某些關(guān)鍵應(yīng)用場(chǎng)景，AI還需要主動(dòng)告知用戶(hù)過(guò)去哪些回答是錯(cuò)誤的，應(yīng)該修改哪些過(guò)去給出的錯(cuò)誤結(jié)論。

10. 正反論證（Pro and Con Arguments）

許多復(fù)雜的現(xiàn)實(shí)問(wèn)題都沒(méi)有明確的客觀答案，比如我應(yīng)該上哪所大學(xué)？我應(yīng)該買(mǎi)什么車(chē)？

在某些情況下，可以對(duì)所有可選項(xiàng)進(jìn)行加權(quán)和評(píng)分，列舉出各自?xún)?yōu)勢(shì)和劣勢(shì)，提供專(zhuān)家級(jí)的建議。

圖片

因?yàn)锳I所知道的信息默認(rèn)都是真實(shí)的，所以即使一些看似簡(jiǎn)單的問(wèn)題也可能存在多個(gè)相當(dāng)不錯(cuò)的選擇。

11. 上下文（Contexts）

同樣的一種說(shuō)法，在不同的群體中可能適應(yīng)性不同，例如「誰(shuí)是瑞典國(guó)王」的答案隨時(shí)間變化而不同，大多數(shù)人類(lèi)交流都會(huì)隱含一些上下文元素，可能會(huì)在訓(xùn)練 LLM 時(shí)導(dǎo)致混淆問(wèn)題。

在執(zhí)行任務(wù)時(shí)（例如與人互動(dòng)），使用語(yǔ)境非常重要：可以推斷出為什么要問(wèn)他們這個(gè)問(wèn)題，他們可能受到什么資源限制，用戶(hù)處于什么語(yǔ)境中，他們的回答會(huì)有什么用途等等。

12. 元知識(shí)和元推理（Meta-knowledge and meta-reasoning）

一個(gè)可信的推理器，無(wú)論是人類(lèi)還是AI，都需要能夠獲取并推理自己的知識(shí)，最好包括每個(gè)事實(shí)或經(jīng)驗(yàn)法則的歷史和出處，并且應(yīng)該對(duì)自己知道/不知道什么，以及自己在各種任務(wù)中的能力有多強(qiáng)/多差有一個(gè)準(zhǔn)確而現(xiàn)實(shí)的模型。

人工智能應(yīng)該能夠自省并解釋它為什么會(huì)改變昨天對(duì)某些事情的看法，并假設(shè)可能會(huì)導(dǎo)致它改變對(duì)某些事情看法的合理情景，然后緩存這些情景，并警惕可能會(huì)出現(xiàn)這些情景的跡象。

另一種重要的元推理是批判性思維，即是否以及何時(shí)可以相信某些特定的信息來(lái)源，心智理論、語(yǔ)境、正反論證（上文）也都可以被視為元知識(shí)和元推理的類(lèi)型。

13. 明確的道德規(guī)范（Explicitly ethical）

可信的AI應(yīng)該遵循看似不可侵犯的核心指導(dǎo)原則，例如不撒謊、不造成情感或身體傷害，不過(guò)這些原則往往是模糊的、復(fù)雜的、相互沖突的，而且是不斷變化的，需要通過(guò)元推理來(lái)解決。

人工智能需要根據(jù)「契約」對(duì)與之互動(dòng)的每一個(gè)人或每一群人做出承諾，并信守承諾，例如不泄露機(jī)密。

14. 足夠快的運(yùn)行速度（Sufficient speed）

就像人類(lèi)在完成一項(xiàng)任務(wù)一樣，人工智能也需要根據(jù)所處理問(wèn)題的類(lèi)型提供足夠的響應(yīng)速度，有些應(yīng)用需要微秒級(jí)的響應(yīng)時(shí)間，有些需要實(shí)時(shí)的人機(jī)對(duì)話響應(yīng)時(shí)間（1/4 秒左右），還有一些應(yīng)用運(yùn)行速度較慢也沒(méi)關(guān)系，比如撰寫(xiě)一份200頁(yè)的美國(guó)國(guó)立衛(wèi)生研究院撥款提案）。

15. 充分的語(yǔ)言性和具身性（Sufficiently Lingual and Embodied）

人類(lèi)能夠用自然語(yǔ)言交談，或聽(tīng)和說(shuō)（理解并產(chǎn)生適當(dāng)?shù)那白啵蛞曈X(jué)解析場(chǎng)景和識(shí)別物體、四處走動(dòng)、操縱實(shí)物、使用儀器和設(shè)備，能感知質(zhì)地、壓力、溫度、氣味等。