1、一個令人深思的認知謎題

想象一下這樣的場景：你和ChatGPT都被要求對一堆動物進行分類。你可能會說"鳥類里，知更鳥是典型代表，而企鵝有點特殊"，而AI卻可能簡單粗暴地把所有有翅膀的都歸為一類。表面上看，你們的分類結果差不多，但背后的思維邏輯卻天差地別。

這個看似簡單的差異，實際上揭示了一個更深層的問題：AI到底是真的"理解"了概念，還是僅僅在進行高級的統計模式匹配？

最近，來自斯坦福大學和紐約大學的研究團隊發表了一項突破性研究，用信息論的數學工具深入剖析了這個問題。他們的發現令人震驚：大語言模型和人類在處理概念時采用了完全不同的策略——AI追求極致的統計壓縮，而人類更偏愛靈活的適應性表達。

2、背景 —— 概念形成的奧秘

人類概念形成的獨特之處

人類的概念形成能力堪稱認知科學的奇跡。我們能夠輕松地將復雜多樣的信息壓縮成簡潔有意義的概念，比如看到知更鳥和藍鴉都能歸類為"鳥"，并且知道大多數鳥都會飛。這個過程體現了一個關鍵的權衡：在保持語義保真度（意義）的同時實現表征簡化（壓縮）。

更有趣的是，人類的概念系統往往是層次化的——知更鳥是鳥，鳥是動物——這種結構既高效又富有表現力。每個概念類別內部還有"典型性"的差異：知更鳥被認為是典型的鳥，而企鵝則不那么典型。

大語言模型的概念迷霧

現在的大語言模型展現出了令人印象深刻的語言處理能力，在很多需要深度語義理解的任務上表現出色。但一個根本性問題始終懸而未決：這些模型是真正理解了概念和意義，還是僅僅在龐大數據集上進行復雜的統計模式匹配？

研究團隊指出，要讓AI超越表面模仿、實現更接近人類的理解，關鍵在于弄清楚AI的內部表征如何處理信息壓縮與語義保真之間的權衡。

3、研究方法 —— 用數學透視思維差異

信息論框架

研究團隊創建了一個基于率失真理論和信息瓶頸原理的全新框架來量化比較不同系統如何平衡表征復雜性與語義保真度。他們設計了一個目標函數L：

圖片

L(X, C; β) = 復雜度(X, C) + β × 失真度(X, C)

這個公式巧妙地平衡了兩個關鍵要素：

（1）復雜度項：衡量用概念簇表示原始項目的信息成本，反映壓縮程度

（2）失真度項：衡量分組過程中丟失的語義保真度，反映意義保持程度

權威的人類認知基準

與許多現代眾包數據集不同，研究團隊選擇了認知科學史上三個里程碑式的研究作為人類基準：

（1）Rosch (1973)研究：8個語義類別中的48個項目，確立了原型理論基礎

（2）Rosch (1975)研究：10個類別中的552個項目，深化了語義類別的認知表征理論

（3）McCloskey & Glucksberg (1978)研究：18個類別中的449個項目，揭示了自然類別的"模糊邊界"

這些經典數據集涵蓋了1049個項目和34個類別，為評估AI模型的人類相似性提供了高保真的實證基礎。

全面的模型測試矩陣

研究涵蓋了從3億到720億參數的多樣化大語言模型，包括：

（1）編碼器模型：BERT系列

（2）解碼器模型：Llama、Gemma、Qwen、Phi、Mistral等主流模型家族

通過提取每個模型的靜態詞元級嵌入向量，研究團隊確保了與人類分類實驗中無上下文刺激的可比性。

4、發現 —— 三個層次的深度剖析

發現一：宏觀對齊的表面和諧

圖片

關鍵發現：大模型能夠形成與人類判斷大致對齊的概念類別

實驗結果顯示，所有測試的大語言模型在宏觀層面都能形成與人類類別顯著對齊的概念簇，遠超隨機水平。令人意外的是，某些編碼器模型（特別是BERT-large）展現出了驚人的對齊能力，有時甚至超越了參數量大得多的模型。

這一發現揭示了一個重要事實：影響類人概念抽象的因素并非僅僅是模型規模，架構設計和預訓練目標同樣關鍵。

發現二：細粒度語義的深層鴻溝

關鍵發現：大模型在捕捉精細語義區別方面能力有限

雖然大模型能夠形成宏觀的概念類別，但在內部語義結構方面卻表現平平。研究團隊通過計算項目嵌入向量與其類別名稱嵌入向量之間的余弦相似度，發現這些相似度與人類典型性判斷之間只有適度的相關性。

換句話說，人類認為高度典型的項目（比如知更鳥對于"鳥"類別），在大模型的表征空間中并不一定更接近該類別標簽的嵌入向量。這表明大模型可能更多地捕捉統計上的均勻關聯，而非基于原型的細致語義結構。

發現三：效率策略的根本分歧

關鍵發現：AI和人類采用了截然不同的表征效率策略

這是研究中最震撼的發現。通過L目標函數的分析，研究團隊發現：

大語言模型展現出卓越的信息論效率：

（1）在壓縮-意義權衡方面始終達到更"優化"的平衡

（2）集群熵值更低，表明統計上更緊湊

（3）L目標函數值顯著更低，意味著更高的統計效率

人類概念化系統則相反：

（1）在相同聚類數量下具有更高的熵值

（2）L目標函數值更高，在統計上看似"次優"

（3）但這種"低效"可能反映了對更廣泛功能需求的優化

圖片

5、深層含義 —— 重新審視"智能"的定義

AI的統計壓縮偏好

研究揭示，大語言模型高度優化于統計緊湊性。它們形成信息論上高效的表征，通過最小化冗余和內部方差來實現卓越的統計規律性。這很可能是它們在海量文本語料上訓練的結果——為了處理龐大的數據，它們學會了極致的壓縮策略。

然而，這種對壓縮的專注限制了它們完整編碼那些對深度理解至關重要的豐富原型語義細節的能力。AI變得"高效"但不夠"細膩"。

人類的適應性智慧

人類認知則優先考慮適應性豐富度、上下文靈活性和廣泛的功能效用，即使這在統計緊湊性上付出代價。人類概念的高熵值和L分數可能反映了對更廣泛復雜認知需求的優化，包括：

（1）穩健泛化：支持從稀少數據中進行有效推廣

（2）推理能力：支持因果、功能和目標導向的強大推理

（3）交流效率：通過可學習和可共享的結構實現有效溝通

（4）多模態根基：將概念植根于豐富的多感官體驗中

人類選擇了看似"低效"的表征方式，實際上是為了獲得更好的適應性和多用性。

架構的啟示

值得注意的是，較小的編碼器模型（如BERT）在特定對齊任務上的出色表現強調了架構設計和預訓練目標對模型抽象類人概念信息能力的重要影響。這為未來專注于增強人機對齊的AI開發指明了重要方向。

6、結語：從"符號"到"思想"的漫長征程

這項研究最深刻的洞察在于：AI和人類代表了兩種截然不同的"智能"范式。

AI擅長統計可壓縮性，走的是一條與人類認知根本不同的表征道路。它們像極了一個完美的圖書管理員，能夠以最高效的方式整理和存儲信息，但可能缺乏對每本書深層內涵的真正理解。

人類認知則像一個睿智的哲學家，愿意承受表面上的"混亂"和"低效"，因為這種復雜性恰恰是靈活應對復雜世界、進行深度推理和創新思考的基礎。人類的"低效"實際上是高級智能的標志。

這種根本差異對AI發展具有深遠意義。要實現真正類人的理解，我們需要超越當前主要基于規模擴展和統計模式匹配的范式。未來的努力應該探索明確培養更豐富、更細致概念結構的原理。

正如研究標題所暗示的，從"符號"到"思想"的進步，需要AI系統學會擁抱看似的"低效"——因為這種"低效"可能正是穩健、類人智能的標志。我們需要的不僅僅是能夠高效處理信息的AI，更需要能夠像人類一樣靈活思考、深度理解和創造性推理的智能系統。

這項研究為我們提供了一個量化的框架來評估和指導AI向更類人理解方向發展，也提醒我們：真正的智能可能不在于完美的效率，而在于適應性的智慧。在AI快速發展的今天，理解這種差異對于構建既強大又可信賴的人工智能系統具有至關重要的意義。

論文標題：From Tokens to Thoughts: How LLMs and Humans Trade Compression for Meaning

論文鏈接：https://arxiv.org/abs/2505.17117