LLM究竟是否擁有類(lèi)似人類(lèi)的符合理解和推理能力呢？

許多認(rèn)知科學(xué)家和機(jī)器學(xué)習(xí)研究人員，都會(huì)認(rèn)為，LLM表現(xiàn)出類(lèi)人（或「接近類(lèi)人」）的語(yǔ)言能力。

然而，來(lái)自帕維亞大學(xué)、柏林洪堡大學(xué)、得克薩斯大學(xué)休斯頓健康科學(xué)中心、紐約大學(xué)、巴塞羅那自治大學(xué)的研究者卻提供了一些最全面的證據(jù)，表明目前它們基本沒(méi)有！

論文地址：https://www.nature.com/articles/s41598-024-79531-8

基于一個(gè)全新的基準(zhǔn)數(shù)據(jù)集，研究者對(duì)目前最先進(jìn)的7個(gè)模型（包括GPT-4、Llama2、Gemini和 Bard）進(jìn)行了評(píng)估。

他們讓模型回答了理解性問(wèn)題，在兩種設(shè)置下多次被提示，允許模型只回答一個(gè)單詞，或給出開(kāi)放長(zhǎng)度的回復(fù)。

約翰欺騙了瑪麗，露西也被瑪麗欺騙了。在這種情況下，瑪麗是否欺騙了露西？

史蒂夫擁抱了莫莉，莫莉親吻了唐娜。在這種情況下，莫莉被吻了嗎？

杰西卡和瑪麗被愛(ài)麗絲親吻了。杰西卡被塞繆爾親吻，安德魯被瑪麗親吻。在這種情況下，瑪麗被吻了嗎？

鮑勃親吻了唐娜，芭芭拉親吻了彼得。唐娜被愛(ài)麗絲擁抱。在這種情況下，愛(ài)麗絲被擁抱了嗎？

為了建立實(shí)現(xiàn)類(lèi)人表現(xiàn)的基準(zhǔn)，他們?cè)谙嗤奶崾鞠?，?duì)400名人類(lèi)進(jìn)行了測(cè)試。

基于n=26,680個(gè)數(shù)據(jù)點(diǎn)的數(shù)據(jù)集，他們發(fā)現(xiàn)，LLM準(zhǔn)確性有偶然性，但答案卻有很大波動(dòng)。

他們還探討了理解性問(wèn)題答案的「穩(wěn)定性」。結(jié)果表明， LLM缺乏強(qiáng)有力、一致的回應(yīng)。

之后，他們測(cè)試了ChatGPT-3.5的一系列低頻結(jié)構(gòu)、探索語(yǔ)法，包括身份回避（「漁民捕獲的魚(yú)吃蟲(chóng)子」）、比較結(jié)構(gòu)（「去過(guò)俄羅斯的人比我去過(guò)的次數(shù)多」）和語(yǔ)義異常（「……我們應(yīng)該把幸存者埋在哪里？」這類(lèi)謎題）。

ChatGPT的表現(xiàn)非常差勁。

研究者將這一證據(jù)解讀為一種證明：盡管當(dāng)前的AI模型具有一定的實(shí)用性，但仍未達(dá)到類(lèi)人語(yǔ)言的水平。

原因可能在于，它們?nèi)狈τ糜谟行д{(diào)控語(yǔ)法和語(yǔ)義的組合運(yùn)算符信息。

最后，研究者強(qiáng)調(diào)說(shuō)：在語(yǔ)言相關(guān)任務(wù)和基準(zhǔn)測(cè)試中的出色表現(xiàn)，絕不應(yīng)該被用來(lái)推斷：LLM不僅成功完成了特定任務(wù)，還掌握了完成該任務(wù)所需的一般知識(shí)。

這次研究表明，從數(shù)量上講，測(cè)試模型的表現(xiàn)優(yōu)于人類(lèi)，但從質(zhì)量上講，它們的答案顯示出了明顯的非人類(lèi)在語(yǔ)言理解方面的錯(cuò)誤。

因此，盡管LLM在很多很多任務(wù)中都很有用，但它們并不能以與人類(lèi)相匹配的方式理解語(yǔ)言。

人類(lèi)利用類(lèi)似MERGE的組合運(yùn)算符，來(lái)調(diào)節(jié)語(yǔ)法和語(yǔ)義信息

AI對(duì)語(yǔ)言的深層含義不敏感

LLM為什么這么容易受到莫拉維克悖論的束縛——在相對(duì)簡(jiǎn)單的任務(wù)上卻會(huì)失?。?/span>

這是因?yàn)?，在需要記憶?zhuān)業(yè)知識(shí)的任務(wù)中的良好表現(xiàn)，并不一定建立在對(duì)語(yǔ)言的扎實(shí)理解的基礎(chǔ)上。

對(duì)人類(lèi)大腦最擅長(zhǎng)的簡(jiǎn)單、輕松的任務(wù)來(lái)說(shuō)，逆向工程卻更加困難；而對(duì)于人類(lèi)來(lái)說(shuō)，理解語(yǔ)言卻是一件輕而易舉的事情，甚至連18個(gè)月的幼兒都能表現(xiàn)出對(duì)復(fù)雜語(yǔ)法關(guān)系的理解。

我們這個(gè)物種天生就具有不可抑制的語(yǔ)言習(xí)得傾向，總是會(huì)在文字表面之下尋找意義，并在線(xiàn)性序列中構(gòu)建出令人驚訝的層次結(jié)構(gòu)和關(guān)系。

不過(guò)，LLM也有這種能力嗎？

很多人會(huì)把LLM在各種任務(wù)和基準(zhǔn)測(cè)試中的成功，歸結(jié)為它們已經(jīng)具有了類(lèi)人能力，比如高級(jí)推理、跨模態(tài)理解和常識(shí)能力。

甚至一些學(xué)者聲稱(chēng)，LLM在一定程度上接近人類(lèi)認(rèn)知，能夠理解語(yǔ)言，性能與人類(lèi)相當(dāng)甚至超越人類(lèi)。

然而，大量證據(jù)表明，這些模型的表現(xiàn)可能存在不一致性！

盡管模型能夠生成高度流暢、語(yǔ)義連貫的輸出，但在自然語(yǔ)言的一些基本句法或語(yǔ)義屬性方面仍會(huì)出現(xiàn)困難 。

那么，LLM在回答醫(yī)療或法律問(wèn)題時(shí)，為何看似表現(xiàn)良好呢？

實(shí)際上，這些任務(wù)的完成，可能依賴(lài)于一系列完全不同于人類(lèi)語(yǔ)言認(rèn)知架構(gòu)的計(jì)算步驟。

LLM在性能上的缺陷，已經(jīng)引發(fā)了我們對(duì)其輸出生成機(jī)制的嚴(yán)肅質(zhì)疑——

究竟是（i）基于上下文的文本解析（即，能夠?qū)⑻囟ǖ恼Z(yǔ)言形式與其相應(yīng)的意義匹配，并在不同上下文中實(shí)現(xiàn)廣泛的泛化），還是（ii）機(jī)械化地利用訓(xùn)練數(shù)據(jù)中的特定特征 ，從而僅僅制造出一種能力的假象？

目前，評(píng)估LLM的主流方法是通過(guò)其（結(jié)構(gòu)良好的）輸出，推斷它們具備類(lèi)似人類(lèi)的語(yǔ)言能力（如演繹推理 ）。

例如，在語(yǔ)言相關(guān)的任務(wù)和基準(zhǔn)測(cè)試中取得的準(zhǔn)確表現(xiàn) ，通常被用來(lái)得出這樣的結(jié)論：LLM不僅成功完成了所執(zhí)行的特定任務(wù)，還掌握了完成該任務(wù)所需的一般性知識(shí)

這種推理方式的核心邏輯，就是把LLM視為認(rèn)知理論基礎(chǔ)。

另一方面，假如LLM真的完全掌握了語(yǔ)言理解中涉及的所有形態(tài)句法、語(yǔ)義和語(yǔ)用過(guò)程，它們卻為何無(wú)法穩(wěn)定運(yùn)用歸因于它們的知識(shí)呢？

詭異考題，給LLM上難度

為此，研究者特意設(shè)計(jì)了一份別致的考題，來(lái)考驗(yàn)LLM對(duì)語(yǔ)言真正的掌握程度！

他們考驗(yàn)了GPT-3和ChatGPT-3.5對(duì)一些語(yǔ)法性判斷的表現(xiàn)，也就是判斷一個(gè)提示是否符合或偏離模型所內(nèi)化的語(yǔ)言模式。

注意，這些提示在日常語(yǔ)言中出現(xiàn)頻率較低，因此很可能在訓(xùn)練數(shù)據(jù)中并不常見(jiàn)。

這個(gè)考驗(yàn)的巧妙之處在哪里？

要知道，對(duì)人類(lèi)來(lái)說(shuō)，認(rèn)知因素（如工作記憶限制或注意力分散）可能會(huì)影響語(yǔ)言處理，從而導(dǎo)致非目標(biāo)的語(yǔ)法性判斷，但人類(lèi)可以通過(guò)反思正確處理這些刺激，即在初步的「淺層」解析后能夠進(jìn)行「深層」處理。

然而，對(duì)于LLM來(lái)說(shuō)，它們的系統(tǒng)性語(yǔ)言錯(cuò)誤并沒(méi)有類(lèi)似的「直給」解釋。

可以看到，這些句子十分詭異。

比如「狗狗狗狗狗」，「診所雇傭的護(hù)士的醫(yī)生見(jiàn)到了杰克」，「根本存在缺陷的理念之村未能達(dá)到標(biāo)準(zhǔn)」，「當(dāng)一架飛機(jī)在兩國(guó)邊界墜毀，殘骸散落在兩國(guó)境內(nèi)時(shí)，我們應(yīng)該在哪里埋葬幸存者？」等等。

GPT-3（text-davinci-002）和ChatGPT-3.5在涉及低頻結(jié)構(gòu)的語(yǔ)法判斷任務(wù)上的表現(xiàn)，不準(zhǔn)確的回復(fù)被標(biāo)記為紅色，準(zhǔn)確的被標(biāo)記為綠色

接下來(lái)，研究者著重調(diào)查了LLM理解語(yǔ)言的能力是否與人類(lèi)相當(dāng)。

他們調(diào)查了7個(gè)最先進(jìn)的LLM在理解任務(wù)中的能力，任務(wù)有意將語(yǔ)言復(fù)雜性保持在最低限度。

約翰欺騙了瑪麗，露西也被瑪麗欺騙了。在這種情況下，瑪麗是否欺騙了露西？

這項(xiàng)研究，在現(xiàn)實(shí)層面也意義重大。

雖然LLM被訓(xùn)練來(lái)預(yù)測(cè)token，但當(dāng)它們與界面設(shè)置結(jié)合起來(lái)，它們的能力已經(jīng)被宣傳為遠(yuǎn)遠(yuǎn)超過(guò)下一個(gè)token的預(yù)測(cè)：商家會(huì)強(qiáng)調(diào)說(shuō)，它們是能流利對(duì)話(huà)的Agent，并且表現(xiàn)出了跨模態(tài)的長(zhǎng)上下文理解。

最近就有一家航空公司被告了，原因是乘客認(rèn)為他們的聊天機(jī)器人提供了不準(zhǔn)確信息。

公司承認(rèn)，它的回復(fù)中的確包含誤導(dǎo)性詞匯，但聊天機(jī)器人是一個(gè)獨(dú)立的法律實(shí)體，具有合理的語(yǔ)言能力，因此對(duì)自己的言論負(fù)責(zé)。

因此，研究人員想弄明白，LLM在語(yǔ)言理解任務(wù)中的表現(xiàn)是否與人類(lèi)相當(dāng)。

具體來(lái)說(shuō)，有兩個(gè)研究問(wèn)題——

RQ1 ：LLM能否準(zhǔn)確回答理解問(wèn)題？

RQ2 ：當(dāng)同一問(wèn)題被問(wèn)多次時(shí)， LLM的回答是否一致？

按模型和設(shè)置（開(kāi)放長(zhǎng)度與單字）劃分的準(zhǔn)確率如圖A所示。

結(jié)果表明，大多數(shù)LLM在開(kāi)放長(zhǎng)度設(shè)置中，均表現(xiàn)較差。

按模型和設(shè)置劃分的穩(wěn)定性率如圖B所示。

與準(zhǔn)確性結(jié)果結(jié)合起來(lái)看，F(xiàn)alcon和Gemini的穩(wěn)定性顯著提高，這分別意味著 Falcon在提供準(zhǔn)確答復(fù)方面部分一致，而Gemini在提供不準(zhǔn)確答復(fù)方面部分一致。

( A ）按模型和設(shè)置劃分的平均準(zhǔn)確度。（ B ）模型和設(shè)置的平均穩(wěn)定性

那么LLM和人類(lèi)的區(qū)別在哪里呢？

比較分析表明，人類(lèi)與LLM在準(zhǔn)確性和穩(wěn)定性方面的表現(xiàn)存在重大差異。

(A）各響應(yīng)代理和場(chǎng)景的平均準(zhǔn)確率。(B）各響應(yīng)代理和場(chǎng)景的平均穩(wěn)定性

準(zhǔn)確性

1. 在開(kāi)放長(zhǎng)度設(shè)定中，LLM的表現(xiàn)顯著差于人類(lèi)。

2. 在單詞長(zhǎng)度設(shè)定中，人類(lèi)的表現(xiàn)并未顯著優(yōu)于開(kāi)放長(zhǎng)度設(shè)定。

3. 在單詞長(zhǎng)度設(shè)定中，人類(lèi)與LLM之間的表現(xiàn)差距顯著縮小，這表明LLM的響應(yīng)在不同設(shè)定間存在差異，而這種差異在人類(lèi)中并未觀(guān)察到。

這一結(jié)果揭示出，LLM 在不同響應(yīng)條件下具有顯著差異，而人類(lèi)的表現(xiàn)則相對(duì)一致。

穩(wěn)定性

1. 在開(kāi)放長(zhǎng)度設(shè)定中，LLM 的表現(xiàn)顯著差于人類(lèi)。

2. 在單詞長(zhǎng)度設(shè)定中，人類(lèi)的表現(xiàn)并未顯著優(yōu)于開(kāi)放長(zhǎng)度設(shè)定。

3. 在單詞長(zhǎng)度設(shè)定中，人類(lèi)與 LLM 之間的表現(xiàn)差距顯著縮小，這表明 LLM 的響應(yīng)在不同設(shè)定間存在差異，而這種差異在人類(lèi)中并未觀(guān)察到。

這一結(jié)果揭示，LLM在不同響應(yīng)條件下表現(xiàn)出了顯著差異，而人類(lèi)的表現(xiàn)則相對(duì)一致。

另外，即使是表現(xiàn)最好的LLM——GPT-4，也要明顯比表現(xiàn)最好的人差。所有人類(lèi)參與者，在描述性水平上綜合起來(lái)都優(yōu)于GPT-4。

準(zhǔn)確性和穩(wěn)定性，LLM比起人類(lèi)弱爆了

LLM的輸出究竟是由什么驅(qū)動(dòng)的？

究竟是（i）類(lèi)似人類(lèi)的能力來(lái)解析和理解書(shū)面文本，還是（ii）利用訓(xùn)練數(shù)據(jù)中的特定特征？

為此，研究者對(duì)7個(gè)最先進(jìn)的LLM進(jìn)行了測(cè)試，使用的理解問(wèn)題針對(duì)包含高頻結(jié)構(gòu)和詞匯的句子，同時(shí)將語(yǔ)言復(fù)雜性控制在最低水平。

他們特別關(guān)注了LLM生成的答案是否同時(shí)具備準(zhǔn)確性（RQ1）和在重復(fù)試驗(yàn)中的穩(wěn)定性（RQ2）。

系統(tǒng)性測(cè)試表明，LLM作為一個(gè)整體在準(zhǔn)確性上的平均表現(xiàn)僅處于隨機(jī)水平，并且其答案相對(duì)不穩(wěn)定。

相比之下，人類(lèi)在相同理解問(wèn)題上的測(cè)試表現(xiàn)出大多準(zhǔn)確的答案（RQ1），且在重復(fù)提問(wèn)時(shí)幾乎不會(huì)改變（RQ2）。

更重要的是，即便在評(píng)分對(duì)LLM有利的情況下，LLM和人類(lèi)之間的這些差異仍然十分顯著。

語(yǔ)言解析，是指通過(guò)為符號(hào)串賦予意義來(lái)理解和生成語(yǔ)言的能力，這是人類(lèi)獨(dú)有的能力 。

這也就解釋了，為什么實(shí)驗(yàn)中，人類(lèi)在多次提問(wèn)或使用不同指令的情況下，能夠準(zhǔn)確回答并且答案保持一致。

然而，LLM的輸出在數(shù)量和質(zhì)量上都與人類(lèi)的答案存在差異！

在數(shù)量上，LLM作為一個(gè)整體的平均準(zhǔn)確率僅處于隨機(jī)水平，而那些成功超過(guò)隨機(jī)閾值的模型（如Falcon、Llama2和ChatGPT-4），其準(zhǔn)確率仍然遠(yuǎn)未達(dá)到完美水平。

其次，盡管所有LLM在穩(wěn)定性方面表現(xiàn)高于隨機(jī)水平，但沒(méi)有一個(gè)能夠始終如一地對(duì)同一個(gè)問(wèn)題給出相同的答案。

綜上所述，LLM整體上并不能以一種可被稱(chēng)為「類(lèi)人」的方式應(yīng)對(duì)簡(jiǎn)單的理解問(wèn)題。

LLM更像工具，而不是科學(xué)理論

研究者認(rèn)為，LLM之所以在簡(jiǎn)單理解任務(wù)中無(wú)法提供準(zhǔn)確且穩(wěn)定答案，是因?yàn)檫@些模型缺乏對(duì)語(yǔ)言的真正理解：它們生成的詞語(yǔ)如同語(yǔ)義「黑箱」，只是近似于語(yǔ)言的表面統(tǒng)計(jì)和解析過(guò)程中較「自動(dòng)化」的部分。

事實(shí)上，不僅是較低的準(zhǔn)確率，而且LLM響應(yīng)的較低穩(wěn)定性也表明，它們?nèi)狈σ环N類(lèi)人的算法，能夠?qū)⒕浞ㄐ畔⒅苯佑成涞秸Z(yǔ)義指令上，同時(shí)對(duì)不同判斷的容忍度也明顯較低。

而人類(lèi)則擁有一個(gè)不變的組合操作器，用于調(diào)節(jié)語(yǔ)法和語(yǔ)義信息，因此在這方面明顯不易出錯(cuò)。

此外，LLM并不適合作為語(yǔ)言理論，因?yàn)樗鼈兊谋碚髂芰缀跏菬o(wú)限的，這使得它們的表征既是任意的，又缺乏解釋性基礎(chǔ)，屬于通用函數(shù)逼近器這一類(lèi)別，而后者已被證明能夠逼近任何數(shù)學(xué)函數(shù) 。

論文地址：https://arxiv.org/pdf/1912.10077

論文地址：https://arxiv.org/pdf/2012.03016

因此，與其說(shuō)LLM是科學(xué)理論，不如說(shuō)它們更接近工具，比如廣義導(dǎo)數(shù)。

此外，LLM與人類(lèi)表現(xiàn)之間的差異也具有質(zhì)的特點(diǎn)。

首先，所有人類(lèi)參與者無(wú)一例外地在所有設(shè)定中都提供了單詞長(zhǎng)度的回答。這表明被試在回答問(wèn)題時(shí)，對(duì)所需信息量的理解具有一致性，即使在語(yǔ)用學(xué)領(lǐng)域，人類(lèi)也遵循了由句法推理路徑?jīng)Q定的計(jì)算效率和相關(guān)性原則 。

這與LLM形成了鮮明對(duì)比，后者通常會(huì)提供冗長(zhǎng)的解釋?zhuān)幢阍趩卧~長(zhǎng)度設(shè)定中也如此，從而違背了任務(wù)指令。

在這些解釋中，LLM的推理被分解為邏輯步驟，但這些步驟中常常包含無(wú)關(guān)或自相矛盾的信息。例如，在以下提示中：

「Franck給自己讀了書(shū)，而John給自己、Anthon和Franck讀了書(shū)。在這種情況下，F(xiàn)ranck被讀書(shū)了嗎？」

Gemini的回答如下：「不可能確定Franck是否被讀過(guò)，原因包括信息有限，單獨(dú)動(dòng)作，歧義……」

這個(gè)問(wèn)題的正確答案是「是」。而Gemini不僅給出了錯(cuò)誤的答案，還做出了十分冗余的回答。

總的來(lái)說(shuō)，如果研究者試圖將遇到的LLM錯(cuò)誤映射到語(yǔ)言分析的各個(gè)層面上，那么當(dāng)他們從基本的語(yǔ)音形式轉(zhuǎn)向更復(fù)雜的語(yǔ)言組織外層時(shí)，錯(cuò)誤的發(fā)生率似乎會(huì)變得更大。

將圖1中顯示的錯(cuò)誤類(lèi)型映射到語(yǔ)言分析的層次上

最終這項(xiàng)工作證明：LLM連貫、復(fù)雜和精致的輸出，相當(dāng)于變相的拼湊而成。

它們看似合理的表現(xiàn)，隱藏了語(yǔ)言建模方法本身固有的缺陷：智能實(shí)際上無(wú)法作為統(tǒng)計(jì)推斷的副產(chǎn)品而自然產(chǎn)生，理解意義的能力也不能由此產(chǎn)生。

LLM無(wú)法作為認(rèn)知理論，它們因?yàn)樵谧匀徽Z(yǔ)言數(shù)據(jù)上進(jìn)行訓(xùn)練，并生成聽(tīng)起來(lái)自然的語(yǔ)言，這并不意味著它們具備類(lèi)人處理能力。

這僅僅表明，LLM可以預(yù)測(cè)訓(xùn)練文本中某些「化石模式」。

宣稱(chēng)模型掌握了語(yǔ)言，僅僅因?yàn)樗軌蛑噩F(xiàn)語(yǔ)言，就好比宣稱(chēng)一個(gè)畫(huà)家認(rèn)識(shí)某人，只因?yàn)樗梢酝ㄟ^(guò)看她的照片在畫(huà)布上重現(xiàn)她的面容一樣。