有關(guān)類似GPT-4這樣的大型語言模型（LLM）是否真正模擬人類邏輯和推理的辯論正在進(jìn)行中。一些研究人員認(rèn)為，隨著規(guī)模的擴(kuò)大，LLM可能會發(fā)展出對抽象推理、模式識別和類比制作的新能力。

另一方面，一些人認(rèn)為促使這些能力的內(nèi)部機(jī)制尚未被解釋清楚。一些實(shí)驗(yàn)證明，這些模型在其訓(xùn)練數(shù)據(jù)范圍之外難以推廣。

"在創(chuàng)建和推理抽象表示方面的能力對于強(qiáng)大的泛化至關(guān)重要，因此有必要了解LLM在這方面已經(jīng)取得了多大的能力，" 圣塔菲研究所的科學(xué)家在最近的一篇論文中寫道。

在他們的研究中，研究人員深入探討了抽象推理的含義，并提供了在LLM中評估其能力的框架。研究結(jié)果表明，盡管GPT-4及其多模態(tài)版本GPT-4V非常復(fù)雜，但它們都未達(dá)到人類水平的抽象推理能力。

什么是抽象推理

抽象推理是從有限數(shù)據(jù)中識別規(guī)律或模式，并將其推廣到新場景的能力。這種特質(zhì)是人類智能的基石，兒童展示了從最少的例子中學(xué)習(xí)抽象規(guī)則的熟練技能。

評估抽象推理能力是一項(xiàng)困難的任務(wù)。弗朗索瓦·紹萊（Francois Chollet）提出的抽象與推理語料庫（ARC）是一個(gè)公正的衡量工具。ARC是一個(gè)評估人類和人工智能抽象推理能力的框架。該測試包含1,000個(gè)手工制作的類比謎題，每個(gè)謎題呈現(xiàn)一些網(wǎng)格轉(zhuǎn)換的例子和一個(gè)最終不完整的網(wǎng)格，解題者必須正確填充。這些謎題旨在消除任何不公平的優(yōu)勢，如與訓(xùn)練數(shù)據(jù)的相似性或?qū)ν獠恐R的依賴。

為了解決這些謎題，必須從少數(shù)示例中推斷出總體的抽象規(guī)律，并將其應(yīng)用于測試網(wǎng)格。解決ARC謎題所需的基礎(chǔ)知識被認(rèn)為是人類天生具備的，包括物體識別、數(shù)量評估以及幾何和拓?fù)涞幕驹淼雀拍睢?/p>

研究人員在他們的論文中寫道：“[ARC] 的目標(biāo)是捕捉抽象推理的核心：從少量示例中歸納出一般規(guī)則或模式，并靈活地應(yīng)用于新的、以前未見過的情境。”

人類在ARC上的表現(xiàn)大約在84%左右。相比之下，利用當(dāng)前人工智能系統(tǒng)嘗試解決ARC的努力表現(xiàn)不佳。在一場著名的Kaggle競賽中，使用了程序合成技術(shù)的頂級參賽作品僅成功解決了這些謎題的21%，而且無法超越其狹窄的范圍進(jìn)行泛化。作為通用問題解決者的LLM表現(xiàn)甚至更差，在最近的實(shí)驗(yàn)中只解決了10-12%的ARC挑戰(zhàn)。

對GPT-4進(jìn)行推理任務(wù)的測試

圣塔菲研究所的科學(xué)家們進(jìn)行了一系列新的實(shí)驗(yàn)，使用了ConceptARC，這是ARC的一種變體，旨在更易于人類參與，并促進(jìn)對特定概念理解的評估。為了適應(yīng)基于文本的GPT-4，視覺謎題被轉(zhuǎn)化為字符序列。模型接收到一個(gè)包含說明、一個(gè)已解決的例子和一個(gè)新問題的提示。GPT-4的任務(wù)是生成表示解決方案的字符序列，允許最多三次嘗試。

先前的測試顯示，GPT-4在不同溫度下在ConceptARC上的得分分別為19%和25%。但通過新的更全面的提示技術(shù)，結(jié)果有所改善。在進(jìn)行了480個(gè)ConceptARC任務(wù)的全面測試中，將模型的溫度設(shè)置調(diào)整為0和0.5時(shí)，GPT-4的平均表現(xiàn)約為33%。

盡管取得了一些進(jìn)展，但GPT-4的能力明顯落后于人類表現(xiàn)，人類在ConceptARC上的表現(xiàn)令人印象深刻，達(dá)到了91%。圣塔菲科學(xué)家指出：“盡管有更詳細(xì)的提示，GPT-4的表現(xiàn)仍然遠(yuǎn)遠(yuǎn)低于人類的高水平，這支持了一個(gè)結(jié)論，即即使有更多的信息提示，該系統(tǒng)仍然缺乏由這個(gè)語料庫測試的基本抽象推理能力。”

多模態(tài)是否可以提高GPT-4的性能

研究人員還在GPT-4V上測試了ConceptARC，這是GPT-4的多模態(tài)版本，除了文本外還能處理圖像。普遍的假設(shè)是，由于其增強(qiáng)的能力，GPT-4V將超越其僅文本的對應(yīng)版本。然而，由于全面測試的高昂成本，研究人員將對GPT-4V的評估限制在ConceptARC謎題的一個(gè)被稱為“注意力檢查”的特定組別上，人類通常在這里達(dá)到95%的成功率。

有趣的是，當(dāng)這些注意力檢查被轉(zhuǎn)換為GPT-4的純文本格式時(shí)，該模型獲得了65-69%的分?jǐn)?shù)，表明這些任務(wù)比完整集合的任務(wù)更容易。然而，GPT-4V在這些任務(wù)上的表現(xiàn)平均為23-25%，不及僅文本版本的成績。

論文對GPT-4V的回應(yīng)進(jìn)行了有趣的觀察：“GPT-4V經(jīng)常在其解決方案中包含對抽象變換規(guī)則的描述...在某些情況下，盡管識別了錯誤的抽象規(guī)則，該模型準(zhǔn)確地描述了輸出網(wǎng)格，我們將其歸類為成功。另一方面，我們將模型正確識別了抽象規(guī)則但未能準(zhǔn)確描述輸出網(wǎng)格的情況歸類為失敗。”

這個(gè)對LLM申請意味著什么

GPT-4V在完整的ConceptARC語料庫上的表現(xiàn)可能會比注意力檢查子集更差。這個(gè)結(jié)果表明，多模態(tài)能力并不一定會為LLM提供卓越的抽象推理能力。

圣塔菲研究所的研究結(jié)果強(qiáng)調(diào)了人類與當(dāng)前最先進(jìn)的人工智能系統(tǒng)之間在抽象推理方面存在的顯著差異。

研究人員寫道：“我們的結(jié)果支持這樣的假設(shè)，即GPT-4，也許是目前最具“通用”性的LLM，仍然無法穩(wěn)健地形成抽象概念并推理有關(guān)其訓(xùn)練數(shù)據(jù)中先前未見過的基本核心概念。其他提示或任務(wù)表示的方法可能會提高GPT-4和GPT-4V的性能；這是未來研究的一個(gè)課題。”

因此，在將這些模型整合到需要精確邏輯的決策過程中時(shí)，最好保持謹(jǐn)慎。在人工智能應(yīng)用中，尤其是在敏感領(lǐng)域，人類監(jiān)督仍然至關(guān)重要。

本文轉(zhuǎn)載自 ??MoPaaS魔泊云??，作者： Ben Dickson