將大型語言模型（LLMs）應(yīng)用于實(shí)際應(yīng)用的主要障礙之一是它們的不可預(yù)測(cè)性、缺乏推理能力和難以解釋性。如果無法解決這些挑戰(zhàn)，LLMs將無法成為在關(guān)鍵環(huán)境中可信賴的工具。在最近的一篇論文中，認(rèn)知科學(xué)家GaryMarcus和人工智能先驅(qū)Douglas Lenat深入探討了這些挑戰(zhàn)，他們將這些挑戰(zhàn)歸納為了確保通用人工智能的16個(gè)愿望清單。Tech Talks 的創(chuàng)始人 Ben Dickson 將其整理發(fā)表了一篇名為" How LLMs could benefit from a decades’ long symbolic AI project"《大型語言模型（LLMs）如何能夠從長(zhǎng)達(dá)數(shù)十年的符號(hào) AI 項(xiàng)目中受益》的文章，我們特將該內(nèi)容編譯出來和各位客戶、合作伙伴朋友分享。

在最近的一篇論文中，認(rèn)知科學(xué)家Gary Marcus和人工智能先驅(qū)Douglas Lenat深入探討了大型語言模型（LLMs）無法成為在關(guān)鍵環(huán)境中可信賴的工具的挑戰(zhàn)，他們將這些挑戰(zhàn)歸納為了確保通用人工智能的16個(gè)愿望清單。他們認(rèn)為，所需的能力主要?dú)w結(jié)為“知識(shí)、推理和世界模型”，而這些方面都不是大型語言模型所擅長(zhǎng)的。他們指出，LLMs缺乏人類擁有的緩慢、深思熟慮的推理能力。相反，它們更類似于我們快速而無意識(shí)的思考方式，這可能導(dǎo)致不可預(yù)測(cè)的結(jié)果。

Marcus和Lenat提出了一種可能“理論上能夠解決”這些限制的替代人工智能方法：“教育以明確知識(shí)片段和經(jīng)驗(yàn)法則為基礎(chǔ)的人工智能，使推理引擎能夠自動(dòng)推導(dǎo)出所有這些知識(shí)的邏輯蘊(yùn)涵關(guān)系。”他們認(rèn)為，LLM研究可以從 Cyc 獲得啟發(fā)并受益，Cyc是Lenat四十多年前首創(chuàng)的一種符號(hào) AI 系統(tǒng)，并建議“任何可信賴的通用人工智能都需要將這兩種方法，即LLM方法和更形式化的方法，進(jìn)行混合。”

注：LLMs擅長(zhǎng)自然語言處理，但在推理和常識(shí)方面存在一定的挑戰(zhàn)。相反，Cyc以其深厚的知識(shí)庫和推理能力聞名，可用于生成大量基于事實(shí)的陳述，有助于訓(xùn)練LLMs更注重常識(shí)和正確性。通過將LLMs訓(xùn)練成能夠理解CycL語言，可以加強(qiáng)兩個(gè)系統(tǒng)之間的交流，有助于提供新知識(shí)，并降低維護(hù)Cyc的成本。

LLs缺少什么

在他們的論文中，Lenat和Marcus表示，盡管人工智能不需要以與人類完全相同的方式思考，但它必須具備16種能力，以便在“錯(cuò)誤成本高昂的情況下”受到信任。LLMs在大多數(shù)這些領(lǐng)域都存在困難。例如，人工智能應(yīng)該能夠“回顧其提供的任何答案背后的推理過程”，并追蹤其推理鏈中每一條知識(shí)和證據(jù)的來源。雖然一些提示技術(shù)可以從LLMs中引出推理的外觀，但這些能力充其量也是搖擺不定的，經(jīng)過一些探討后可能會(huì)變得矛盾不一致。

Lenat和Marcus還討論了演繹、歸納和擬因推理作為能夠使LLMs調(diào)查其自身決策、發(fā)現(xiàn)陳述中的矛盾以及在邏輯上無法得出結(jié)論時(shí)做出最佳決策的能力的重要性。作者還指出，類比是當(dāng)前LLMs中重要缺失的一部分，人類在對(duì)話中經(jīng)常使用類比來傳達(dá)信息或使復(fù)雜主題容易理解。

心智理論

另一個(gè)重要的能力是“心智理論”，這意味著人工智能應(yīng)該具備對(duì)其對(duì)話對(duì)象的知識(shí)和意圖的模型，以引導(dǎo)其互動(dòng)，并能夠在繼續(xù)學(xué)習(xí)用戶的同時(shí)更新其行為。

Marcus和Lenat還強(qiáng)調(diào)了人工智能需要具備自身模型的必要性。它必須理解“它自己，即AI是什么，當(dāng)前正在做什么以及為什么”，而且還必須具備“對(duì)自己知道什么、不知道什么以及自己能力的良好模型，以及當(dāng)前與用戶的‘契約’是什么”。

可信賴的人工智能系統(tǒng)必須能夠在決策中包含上下文，并能夠區(qū)分在當(dāng)前情境中哪種行為或響應(yīng)是可接受的，哪種是不可接受的。上下文可以包括環(huán)境、任務(wù)和文化等因素。

Cyc的創(chuàng)作者學(xué)到了什么

Lenat于1984年創(chuàng)建了Cyc，它是一種基于知識(shí)的系統(tǒng)，提供了一個(gè)全面的本體論和知識(shí)庫，人工智能可以用來推理。與當(dāng)前的人工智能模型不同，Cyc建立在對(duì)現(xiàn)實(shí)世界知識(shí)的明確表示基礎(chǔ)上，包括常識(shí)、事實(shí)和經(jīng)驗(yàn)法則。它包含了數(shù)千萬條由人類輸入的信息，這些信息可以被軟件用于快速推理。

一些科學(xué)家將Cyc描述為失敗和死胡同，也許它最重要的局限性之一是依賴手工勞動(dòng)來擴(kuò)展其知識(shí)庫。相比之下，LLMs已經(jīng)能夠隨著數(shù)據(jù)和計(jì)算資源的可用性而擴(kuò)展。但迄今為止，Cyc已經(jīng)實(shí)現(xiàn)了幾個(gè)成功的應(yīng)用，并為人工智能社區(qū)帶來了重要的教訓(xùn)。

在最初的幾年里，Cyc的創(chuàng)作者意識(shí)到擁有一種富有表現(xiàn)力的表示語言是不可或缺的。“也就是說，可信賴的通用人工智能需要能夠表示人們彼此之間說和寫的幾乎任何內(nèi)容，”Lenat和Marcus寫道。

表達(dá)主張和規(guī)則

到了20世紀(jì)80年代晚期，Cyc的創(chuàng)作者開發(fā)了CycL，這是一種用來表達(dá)人工智能系統(tǒng)主張和規(guī)則的語言。CycL已經(jīng)被構(gòu)建為輸入推理系統(tǒng)的一部分。盡管Cyc擁有數(shù)千萬條手工編寫的規(guī)則，但它可以在僅進(jìn)行一次推理步驟的情況下“生成數(shù)百億個(gè)新的結(jié)論，這些結(jié)論都是基于它已經(jīng)知道的內(nèi)容而得出的，”作者寫道。“僅僅再經(jīng)過幾個(gè)推理步驟，Cyc就可以得出數(shù)以萬億計(jì)的新默認(rèn)真實(shí)陳述。”

作者認(rèn)為，創(chuàng)建一種用于知識(shí)表示的富有表現(xiàn)力的語言，使之能夠?qū)κ聦?shí)進(jìn)行推理，不是可以通過蠻力捷徑省略的事情。他們批評(píng)了目前訓(xùn)練LLMs使用大量原始文本數(shù)據(jù)的方法，希望它們會(huì)逐漸發(fā)展自己的推理能力。在日常交流中，人們忽略的大部分隱含信息在這樣的文本語料庫中是缺失的。因此，LLMs將會(huì)學(xué)會(huì)模仿人類語言，而無法對(duì)自己所說的內(nèi)容進(jìn)行健壯的常識(shí)推理。

將Cyc和LLMs融合在一起

Lenat和Marcus承認(rèn)Cyc和LLMs都各自存在局限性，一方面，Cyc的知識(shí)庫不夠深入和廣泛，它的自然語言理解和生成能力不如Bard和ChatGPT出色，而且它無法像最先進(jìn)的LLMs一樣快速推理。另一方面，“目前基于LLM的聊天機(jī)器人更多地是在記憶和宣揚(yáng)而不是理解和推斷，”科學(xué)家們寫道。“在論文中列出的16種能力中，它們?cè)谀承┓矫姹憩F(xiàn)出色，但在大多數(shù)方面還有改進(jìn)的空間。”

作者提出了一種知識(shí)豐富、推理豐富的象征性系統(tǒng)（例如Cyc）與LLMs之間的協(xié)同作用。他們建議這兩種系統(tǒng)可以共同解決“幻覺”問題，即LLMs發(fā)表的陳述雖然似乎合理但事實(shí)上是錯(cuò)誤的。例如，Cyc和LLMs可以相互交叉審查和質(zhì)疑對(duì)方的輸出，從而降低幻覺的可能性。這尤其重要，因?yàn)榇蟛糠殖ＷR(shí)知識(shí)沒有明確寫在文本中，因?yàn)樗瞧毡槔斫獾摹yc可以利用其知識(shí)庫作為生成這種隱含知識(shí)的來源，而這種知識(shí)在LLMs的訓(xùn)練數(shù)據(jù)中沒有記錄。

解釋輸出的知識(shí)和推理

作者建議利用Cyc的推理能力，基于其知識(shí)庫中的明確信息生成數(shù)十億個(gè)“默認(rèn)真實(shí)陳述”，這些陳述可以作為訓(xùn)練未來LLMs更偏向常識(shí)和正確性的基礎(chǔ)。此外，Cyc可以用于事實(shí)核查輸入到LLM進(jìn)行訓(xùn)練的數(shù)據(jù)，并過濾掉任何虛假信息。作者還建議“Cyc可以利用其對(duì)輸入文本的理解添加一個(gè)語義前饋層，從而擴(kuò)展LLM的訓(xùn)練內(nèi)容，并進(jìn)一步使LLM更加偏向真實(shí)和邏輯蘊(yùn)涵。”

通過這種方式，Cyc可以為L(zhǎng)LMs提供知識(shí)和推理工具，逐步解釋它們的輸出，增強(qiáng)透明度和可靠性。另一方面，LLMs可以被訓(xùn)練來將自然語言句子翻譯成CycL，這是Cyc理解的語言。這可以使這兩個(gè)系統(tǒng)進(jìn)行通信，并有助于以較低的成本生成新的知識(shí)。

混合AI

Marcus表示，他支持將神經(jīng)網(wǎng)絡(luò)和符號(hào)系統(tǒng)結(jié)合在一起的混合人工智能系統(tǒng)。將Cyc和LLMs結(jié)合起來可以是實(shí)現(xiàn)混合人工智能系統(tǒng)愿景的方式之一。

作者總結(jié)道：“多個(gè)世代以來，已經(jīng)開發(fā)出了兩種非常不同類型的人工智能，每一種都已經(jīng)足夠先進(jìn)，可以獨(dú)立應(yīng)用，而且確實(shí)正在獨(dú)立應(yīng)用；但這兩種類型有機(jī)會(huì)一起工作，也許還可以與概率推理和處理不完整知識(shí)的其他進(jìn)展結(jié)合使用，使我們更進(jìn)一步朝著值得我們信任的通用人工智能邁進(jìn)一步。”

論文地址：https://arxiv.org/abs/2308.04445

本文轉(zhuǎn)載自??MoPaaS魔泊云??，作者： Ben Dickson