如何正確看待 AI 的推理能力？走出人類中心主義 原創 精華
編者按： 人工智能真的能“推理”嗎？我們是否正在用過于狹隘的人類思維，限制了對 AI 推理能力的認知？我們今天為大家帶來的文章，作者的觀點是：AI 的推理能力不應被簡單地用“人類中心主義”的標準來否定。文章重點揭示了三個關鍵內容：
- 推理能力的定義應更加開放，不應局限于傳統人類思維模式
- 通過多個標準化測試（如 HellaSwag、WinoGrande），AI 在推理任務中已展現出顯著能力
- 我們需要以更開放的心態，將 AI 視為一種獨特的“外星智能”
這不僅是一篇技術解讀，更是對人類智能的深刻反思。在 AI 快速迭代的今天，我們是否能突破“人類中心主義”的思維桎梏，以更開放、更謙遜的態度擁抱這種新興的“外星智能”？
作者 | Rafe Brena, Ph.D.
編譯 | 岳揚
Image by the author using ChatGPT
近期，關于人工智能是否具備推理能力的討論愈發白熱化。近期發布的 DeepSeek R1 模型和 OpenAI o3-mini 模型[1]引發了各方反應[2]，有觀點認為“這不過是炒作和幻象”，也有觀點視其為“人工智能的新典范”。
人工智能的推理能力（或推理能力的缺失）似乎觸動了眾多人的敏感神經。我猜想，他們認為承認人工智能能夠“推理”被看作是對人類自尊的一種打擊，因為這樣說明推理并非人類獨享。
在十九世紀，算術被視為一種智力成就（嘿，你見過牛做加法嗎？）。然而，我們必須適應使用遠比我們強大的計算器。
我見過一些令人震驚的論斷，從“我們即將實現通用人工智能”到“人工智能已達到博士水平”再到對人工智能推理能力的徹底否定，例如“蘋果公司稱人工智能革命是扯淡”。
在其它文章中，我曾評論過埃隆·馬斯克（Elon Musk）的粉絲們所宣稱的 AGI 是多么的無稽之談。在本文中，我將探討上述觀點的另一端：針對那些宣稱人工智能根本無法推理的人。
加里·馬庫斯（Gary Marcus）[3]，最直言不諱的人工智能否認者（我并不稱他們為“懷疑論者”），認為人工智能在模式識別上可能表現卓越，但缺乏“真實推理”的能力。
此外，馬庫斯將 AI chatbots 稱作“被美化的自動補全”，為艾米莉·本德（Emily Bender）在 ChatGPT 早期發明的著名貶義詞“隨機鸚鵡”增添了一個新術語。
何為“真正的推理（genuine reasoning）”？我將在下文中嘗試回答這個問題。
甚至像諾姆·喬姆斯基（Noam Chomsky）這樣更有聲望的思想領袖也認為人工智能無法 “真正思考”，認為它缺乏 “understanding of meaning”（譯者注：部分研究者認為，AI 可能通過“具身智能”（embodied AI）或更復雜的多模態學習逐步接近“意義理解”。但喬姆斯基派堅持認為，只要 AI 沒有意識、意圖和身體經驗，其“理解”就與人類有本質區別。）。他還認為，人工智能永遠無法與人類的創造力和抽象思維能力相抗衡。
01 大語言模型（LLMs）能推理嗎？
在這些支持和反對人工智能具備推理能力的激進觀點的洪流中，我們怎樣才能理解哪些是基于事實的，而不僅僅是單純的個人感覺或個人想法呢？當然是看證據。
但這場爭議中的“事實（facts）”究竟是什么？請注意，所謂“事實”很大程度上取決于你對“推理”的定義，尤其是當有些人進一步要求推理應當是“真正地推理（truly reason）”時。例如，薩爾瓦托雷·拉伊利（Salvatore Raieli ）在他最近的文章中問道：
“大語言模型（LLMs）真的能推理嗎？（Can Large Language Models (LLMs) truly reason?）”
這里的關鍵詞是“真正地（truly）”。那么，“推理”與“真正地推理”有何區別？我懷疑這里存在一種人類中心主義的偏見，好像“真正地推理”意味著“像我們人類一樣推理，我們是宇宙中唯一真正的推理者”。
相反，我更愿意將“推理”定義為解決公認需要推理的問題的認知能力。這包括數學推理（mathematical reasoning）、常識推理（commonsense reasoning）、語言理解（language understanding）和推斷（inference）等。
這個定義可能有些循環論證的嫌疑。但一旦我們就一系列與特定能力相關的問題達成共識，接下來就是檢驗人工智能系統是否能解決這些問題。問題在于，正如我將在下文中論述的，當前的人工智能可能在解決某個問題時得心應手，但對人類而言看似與這個問題相似的問題（如不同角度的物體識別、同一問題的不同表達方式），AI系統可能完全無法處理。
請留意，在采用這個定義時，我明確與著名的“圖靈測試”（Turing Test）區分開來。圖靈測試的目的是想通過騙過人類評委，讓他們以為自己是在和真人對話。如果你還沒聽說過圖靈測試，可以看看我寫的文章“Why the Turing Test Became Obsolete?（圖靈測試為何不再適用？）”[4]
同時，我也不同意那種認為人工智能要變得聰明就必須“像人一樣推理”的觀點。我認為“像人類一樣推理”這種表述是模糊的、擬人化的，且沒有實際價值。
在文章的最后一部分，我認為現代人工智能其實根本不是“像人一樣推理”；它更像是一種非人類的形式、或者說“外星”智能。
另外，還有人提出，“真正的推理”應該是在所謂的“思維鏈”（Chain of Thought，CoT）中進行的“多步驟思考（think in several steps）”。
這個和 AI chatbots 有關的想法，最初是由谷歌研究院在 2022 年的一篇論文“Chain of Thought Prompting Elicits Reasoning in Large Language Models”[5]中提出的。OpenAI 實現了這個想法，并且做得很好，因此有人稱其為 “人工智能的新范式”。
我并不反對在人工智能中使用思維鏈（CoT），比如 OpenAI 就做得很好（相關測試結果清楚地表明了改進之處）。但我覺得，推理是一種認知能力，不僅僅局限于多步驟的思考。
推理也不只是“解決復雜問題”（就像上文提到的 Raieli 說的那樣）。我覺得推理可以很簡單，也可以很復雜，而且每種推理都應該有客觀的測試方法。
說到這里，你大概能明白為什么很多人覺得“人工智能不會推理”了：
- 有些人覺得人工智能不是“真的”在推理，或者不是“像人一樣推理”。
- 另一些人認為 AI 應該精通“復雜推理和問題解決”，卻忽視了更簡單的推理形式。
- 還有一些人對任何不是由一系列推理步驟組成的推理都不屑一顧。
很多事情都是細節決定成敗，這里的細節就是怎么定義所謂的“推理能力”。我已經在上文給出了我的定義。我覺得這些對人工智能推理能力的質疑其實是一種偏見，因為一開始就改變了“推理”的含義。
現在，我們來聊聊怎么驗證和衡量推理能力。
02 怎么衡量智能？
請記住，我們衡量認知能力的標準，與蒙騙那些被誘導相信自己在“與擁有靈魂的實體互動”的輕信者毫無關系 —— 這讓人想起前谷歌工程師布萊克·勒莫因（Blake Lemoine）那聽起來很玄但其實不對的觀點，他曾以道德理由拒絕關閉一個“有意識”的 AI chatbot。
咱們衡量認知能力，可不能靠主觀感覺。得用標準的題庫來測量，比如：
- HellaSwag[6] 和 WinoGrande[7]，用來看看 AI 的常識推理能力怎么樣。
- GLUE[8] 和 SuperGLUE，用來評估 AI 理解自然語言的能力。
- InFoBench[9]，用來檢查 AI 能不能好好遵循指令。
- AI2 Reasoning Challenge（ARC）[10]，里面還包括了思維鏈能力的測試。
這些題庫各有各的側重點，但都在考察“推理”能力。你得知道，“推理”可并不是一個單一的任務，很多不同的任務都可以算是“推理”。
從我開始用 ChatGPT 的時候，我就發現它特別聽話，能按指令辦事。說實話，這讓我對大語言模型（LLMs）的推理能力有了新的認識，我下面會詳細說說。
有一天，我聽到了 Sebastien Bubeck（那時候他在微軟，現在在 OpenAI）關于大語言模型的推理能力的一個很有道理的觀點：
要是 AI 不懂指令，它怎么會照著做呢？
沒錯。
Bubeck 的意思不是 AI 會說“我聽懂了你的問題”。而是 AI 會按照指令去做，然后我們人（或者別的程序）來檢查它做得對不對。
現在有了衡量遵循指令能力的基準測試，這個觀點可以更深入地討論。
接下來，讓我們探討一下常識推理。這被認為是人類特有的品質，對吧？但事實上，常識推理也可以通過像 WinoGrande 這樣的基準測試來評估。
來看看 WinoGrande 的問題是怎么問的。這個基準測試大部分問題都是關于代詞指代，比如這個：
“Ann 問 Mary 圖書館什么時候關門，因為她忘記了。”
這里的“她”是指誰，Ann 還是 Mary？
人類一眼就能看出“她”是 Ann，因為問題是她問的。但機器碰到這種問題可能就犯難了。
很明顯，用題庫來測試 AI 的認知能力時，得確保 AI 之前沒見過這些題，不然就是“作弊”了。
那大語言模型在這些題庫測試里表現怎么樣呢？
比較起來有個麻煩，就是每家 AI 公司用的題庫都不一樣，我猜他們肯定是挑自己 AI 得分高的題庫。所以，大家常用的比較方法變成了使用“Chatbot arena”，不是看題庫成績，而是看人投票。這又讓我們想起了圖靈測試的那些問題……
截至 2024 年 12 月 10 日的 Chatbot 競技場排名（Hugging Face）
在 HellaSwag 這個測試里，Gemini Pro 1.5 得了 92.5分（滿分100），GPT-4 Turbo 更厲害，得了 96 分（雖然不是最新版本，但也能看出個大概）。
這局 OpenAI 贏了，Google 輸了。
在 MMLU 這個測試（跟 GLUE 差不多）里，GPT-4 大概得了87分，Gemini Ultra 得了 90 分。
這局倆人都贏了一次，打平了。
我們還可以繼續比下去，但說實話，現在最牛的這些 LLMs 水平都差不多。為啥呢？因為頂尖的 AI 專家們都在這些大公司之間跳來跳去，人才流動太頻繁了。
重點是，現在這些最厲害的 LLMs 都有的認知能力，不是光靠運氣或記憶力就能解釋的。所以，我覺得那個“隨機鸚鵡”的說法，其實啥也說明不了。
03 “外星智能”
咱們人類碰到現在這種人工智能（就是那種基于大語言模型的 AI）時，經常會覺得摸不著頭腦，這其實是有原因的。
我最近寫了篇文章[11]，說了說人類智能和這種現代 AI 有啥不一樣。主要區別有這么幾點：
- 區別1：人類是真的有感情；機器呢，只是裝裝樣子。
- 區別2：人類對事情的理解很明確，懂就是懂，不懂就是不懂。
- 區別3：機器在做決定時，從來不會猶豫。
這三個區別都很重要，但我想重點說說區別2，因為它跟推理能力關系最大。咱們來好好聊聊這個。
咱們人類有時候會突然“開竅”，對某個事情有了徹底的理解，這種理解是很堅定的，不會因為一些無關緊要的細節就改變。但是機器呢，就不是這么回事了。
最近，蘋果公司的研究人員發了篇論文[12]，這篇論文引起了很大的反響（而且是好的那種）。論文里說了，大語言模型在推理任務上其實有很多局限性。
蘋果的研究人員還專門做了數學推理能力測試，用了一種特別的測試方法來評估。他們做了些很有意思的實驗，我接下來就給大家講講。
在其中一項實驗中，研究人員先測試了系統在回答一系列問題時的表現，然后他們對問題進行了一系列所謂的無關修改，比如改了人名、數字或者加入了一些無關的內容。結果他們發現，當再次測試時，系統的表現大幅下滑。
為什么修改這些無關信息會導致系統表現下降呢？因為在類似的情況下，人類幾乎總能分辨出哪些信息是重要的，哪些不是，然后忽略掉無關的信息。但機器在這方面就很吃力了，盡管它們在很多情況下都能給出正確答案，但整體表現還是受到了很大影響。
蘋果公司的實驗無可辯駁。但如何解讀這些結果確實是個問題。
在得出結論時，我發現蘋果的研究人員也和大家一樣有偏見。比如，他們說“當前的 LLMs 無法進行真正的邏輯推理。”我猜各位讀者能找出這句話的關鍵詞，就是“真正的”。我們再次把人類的推理視為唯一“真實”的推理方式。
04 結束語
大多數對 AI 推理的否認都基于一種偏見，這種偏見通常與“AI 應該像人類一樣推理”的假設有關。如果不是這樣，那么 AI 就不是在推理——或者說不算作推理。
這一切都取決于我們如何定義“AI 能推理”。
有些人認為，模式匹配意味著完全無法進行“真實”的推理，即使 AI 在大多數情況下都能給出正確答案。
這就好像在說，任何通過模式匹配完成的事情“都不算作推理”。但是，如果 AI 在許多——不是所有的推理測試中都給出了正確答案呢？如果 AI 在推理問題上逐漸給出了越來越高的準確率，無論是否使用模式匹配呢？
我再次看到了我們的“人類自豪感”在作祟。我們人類是宇宙的主宰，不是嗎？所以，我們的推理應該是唯一有效的推理方式。我們已經先后被計算器、深藍（國際象棋）和阿爾法狗（圍棋）超越，受到了打擊。現在，我們的通用推理能力又受到了“大規模模式匹配”裝置的挑戰，這簡直是雪上加霜。
我們是要固守'人類中心主義'的立場——自視為宇宙的主宰，還是轉向更謙遜（或許也更現實）的認知：將人類視為非凡但有限的存在，能夠與其他形態的智能進行互動？
Thanks for reading!
Hope you have enjoyed and learned new things from this blog!
About the author
Rafe Brena, Ph.D.
AI expert, writepreneur, and futurologist. I was in AI way before it became cool.
END
本期互動內容 ??
?在你看來，AI 的推理能力與人類推理能力最大的不同點是什么？
??文中鏈接??
[1]??https://openai.com/index/openai-o3-mini/??
[3]??https://x.com/garymarcus??
[6]??https://paperswithcode.com/dataset/hellaswag??
[7]??https://winogrande.allenai.org/??
[8]??https://gluebenchmark.com/??
[9]??https://arxiv.org/abs/2401.03601??
[10]??https://paperswithcode.com/dataset/arc??
[12]??https://arxiv.org/pdf/2410.05229??
原文鏈接：
??https://towardsdatascience.com/why-ai-cant-reason-is-a-bias-3c582bba1aeb??
