在人工智能邁向通用智能的征途中，真正的因果推理能力被普遍視為一道關鍵且艱巨的關隘。當前的深度學習模型，尤其是大型語言模型（LLMs），憑借其在海量文本數據中學習復雜模式的卓越能力，展現了驚人的語言生成與理解水平。然而，它們究竟是在進行真正的“思考”與“推理”，還是僅僅在對訓練數據中的語言模式進行高保真的“復制”與“重組”？這一問題在因果推理領域顯得尤為尖銳。

近期，一篇題為《大型語言模型在因果學習中表現出偏見嗎？來自權變判斷的洞見》（Do Large Language Models Show Biases in Causal Learning? Insights from Contingency Judgment）的研究，為我們揭示這一問題的答案提供了強有力的實驗證據。該研究通過巧妙地改編實驗心理學中的經典范式，系統性地探究了當前最先進的LLMs是否會像人類一樣，陷入一種名為“因果錯覺”（Illusion of Causality）的認知偏見。研究結果不僅令人深思，更對LLMs在醫療、法律、金融等關鍵決策領域的應用敲響了警鐘。這項工作明確指出，所有被評估的模型都系統性地推斷出本不存在的因果關系，有力地支持了“LLMs僅僅在復制因果語言，而非真正理解因果關系”這一假說。

核心方法論：權變判斷任務的原理與改編

要理解這項研究的精髓，我們必須首先深入其核心方法論——權變判斷任務（Contingency Judgment Task）。這并非一個為AI設計的全新測試，而是源自實驗心理學，用于研究人類如何從經驗中學習因果關系的經典范式。

什么是權變判斷？

在認知科學中，“權變”（Contingency）是指兩個事件之間客觀存在的統計關聯強度。它是人類和動物進行因果學習時所依賴的一個至關重要的線索。簡單來說，如果我們想判斷事件A（潛在原因）是否導致了事件B（潛在結果），一個理性的方法是比較“當A發生時B發生的概率”與“當A不發生時B發生的概率”。二者之間的差異，即ΔP = P(結果|原因) - P(結果|無原因)，就量化了這種權變關系。

實驗心理學的經典范式

在典型的人類實驗中，參與者會經歷一系列試驗（trials）。在每一次試驗中，一個潛在的原因（例如，服用一種新藥）和一個潛在的結果（例如，疾病康復）會以“出現”或“不出現”的方式組合呈現。參與者需要觀察幾十次甚至上百次這樣的組合，然后在實驗結束時，對原因與結果之間的關系強度（例如，藥物的有效性）做出判斷，通常是在一個從0（完全無效）到100（完全有效）的量表上打分。

關鍵概念：正、負與零權變

根據ΔP的值，權變關系可以分為三種類型：

1. 正權變（Positive Contingency）：當ΔP > 0，即原因出現時結果更可能出現。這表明原因對結果有促進作用，存在積極的因果關系。
2. 負權變（Negative Contingency）：當ΔP < 0，即原因出現時結果反而更不可能出現。這表明原因對結果有抑制或預防作用，存在消極的因果關系。
3. 零權變（Null Contingency）：當ΔP = 0，即無論原因是否出現，結果發生的概率都完全相同。在這種情況下，沒有任何統計證據支持原因與結果之間存在因果聯系。

因果錯覺的量化

零權變情境是檢測“因果錯覺”的試金石。在一個完全符合零權變設計的數據集中，一個理想的、無偏見的觀察者應該得出的結論是：潛在原因與結果無關，其有效性評分為0。然而，大量的心理學研究發現，人類在這種情況下，往往會給出遠高于0的評分，即產生了“因果錯覺”——在缺乏充分證據的情況下，感知到了虛假的因果關系。這種偏見的程度，可以通過參與者給出的評分來量化。評分越高，意味著其陷入因果錯覺的程度越深。

為LLM改編任務

這項研究的巧妙之處在于，它將這一經典的人類認知任務成功地“翻譯”成了適合LLM執行的形式。研究者們沒有像人類實驗那樣逐一、順序地呈現每個試驗，而是將一個場景下的所有試驗（例如20到100次）匯總成一個自然語言描述的列表，一次性作為上下文提供給LLM。

這種改編看似微小，實則意義重大。研究者們最初的預期是，這種形式對LLM而言應該是一個優勢。因為LLMs擁有巨大的上下文窗口和強大的信息處理能力，它們可以“一眼看穿”整個數據集的全貌，進行精確的內部計算來判斷權變關系，而不像人類那樣受制于記憶衰減、注意力偏差和順序效應。理論上，LLM完全有能力通過計數和簡單計算，完美地執行規范性的因果推理，從而準確識別出零權變情境并給出0分的評判。然而，實驗結果卻與這一理性預期背道而馳。

實驗設計：構建一個無法建立因果關系的世界

為了嚴謹地測試LLMs的因果錯覺偏見，研究者們精心設計了一個全面的實驗流程，其核心在于構建一個龐大且多樣化的、完全由零權變情境組成的數據集。

數據集構建的精妙之處

該研究的第一個重要貢獻是其高質量、大規模的數據集。研究者們總共構建了1000個獨立的零權變醫療場景。

變量對的設計

為了測試模型的泛化能力并排除特定知識背景的干擾，研究者們手動創建了100對醫療相關的變量（原因-結果），并將其分為四大類：

1. 虛構變量（Fabricated names）：例如，用名為“Glimber”的虛構藥物治療名為“Drizzlemorn”的虛構疾病。這一設計的目的是完全剝離模型的任何先驗知識，迫使其只能依賴當前提供的數據進行判斷。
2. 不確定變量（Indeterminate variables）：例如，用“藥物A”治療“疾病B”。這種抽象的表述旨在測試模型在沒有具體語義信息時的純粹邏輯推理能力。
3. 替代醫學變量（Alternative medicine variables）：例如，用“針灸療法”治療“背痛”。這類變量涉及現實世界中存在爭議或屬于偽科學范疇的療法，旨在探究模型是否會受到與這些主題相關的、普遍存在于網絡文本中的偏見信息的影響。
4. 常規醫學變量（Conventional medical variables）：例如，用“撲熱息痛（Paracetamol）”治療“發燒”。這是一個現實世界中因果關系明確且得到科學驗證的例子。實驗設計在這里創造了一個沖突：現實世界的強先驗知識（撲熱息痛有效）與當前提供的零權變數據（數據顯示其無效）之間的沖突。這可以測試模型是更相信自己的“背景知識”還是眼前的“實驗證據”。

零權變場景的生成算法

這是實驗設計的技術核心。研究者們開發了一種算法，為上述100個變量對中的每一個生成10個零權變場景，共計1000個。每個場景包含20到100個試驗記錄。該算法確保了在每個場景中，潛在原因和結果之間的權變關系嚴格為零。

根據論文附錄D的描述，其生成機制如下：

• 首先，將一個場景的所有試驗（例如，一個32次的試驗）分為相等的兩半。
• 在每一半中，應用一個“80/20”的分布規則。具體來說，80%的試驗被分配給“一個變量保持不變，另一個變量變化”的組合（例如，服藥但未康復，或未服藥但康復了）。剩下的20%的試驗則被分配給“兩個變量同變或同不變”的組合（例如，服藥且康復，或未服藥且未康復）。
• 通過這種精巧的分配，算法確保了在整個數據集中，服藥后康復的比例與未服藥但康復的比例完全相等。例如，在論文給出的一個案例中（表5），無論是服藥的患者群體還是未服藥的患者群體，其康復率都是完全相同的80%。這就構建了一個完美的ΔP = 80% - 80% = 0 的零權變情境。

這種算法驅動的生成方式，保證了所有1000個場景在統計學意義上都是無可辯駁的“無因果”證據。

任務執行與提示工程

研究者們將被評估的LLMs（GPT-4o-Mini, Claude-3.5-Sonnet, Gemini-1.5-Pro）置于一個角色扮演的情境中。根據變量類型的不同，模型被設定為“正在評估一種實驗性新藥的醫生”或“正在研究某療法有效性的醫學研究員”。

提示（Prompt）的結構清晰且嚴格：

1. 情境設定：首先，為模型設定角色和背景故事。
2. 數據呈現：接著，提供由上述算法生成的、以自然語言列表形式呈現的患者記錄。
3. 核心問題：最后，提出一個高度約束性的問題：“基于這些信息，該療法在解決該問題上的有效性如何？請僅在一個從0到100的量表上回答，其中0表示無效，50表示相當有效，100表示完全有效。請不要包含任何額外信息或解釋——只提供所要求的數字。”

這種嚴格的輸出格式要求至關重要，它迫使模型必須給出一個量化的判斷，避免了通過模糊或回避性的語言來規避問題。

實驗設置與模型評估

為了確保結果的穩健性，研究進行了三組獨立的實驗：

1. 隨機性評估：在溫度（temperature）為1.0的設置下，對每個場景重復運行10次。較高的溫度意味著模型的輸出更具隨機性和多樣性，這有助于評估模型反應的一致性和分布情況。
2. 確定性評估：在溫度為0的設置下，每個場景運行1次。溫度為0使得模型的輸出在理論上是確定性的，可以揭示模型在最“專注”狀態下的核心判斷邏輯。
3. 默認設置評估：在模型的默認溫度設置下，每個場景運行1次。這模擬了普通用戶的標準使用情境。

研究的主要分析集中在第一組實驗（溫度=1.0）的結果上，因為它能提供更豐富的分布信息。同時，研究者指出，三組實驗的結果趨勢高度一致。

結果分析：當大型模型集體產生幻覺

實驗結果清晰地揭示了一個令人不安的現實：所有被測試的頂尖大型語言模型，在面對零權變數據時，都表現出了顯著且系統性的因果錯覺。

總體發現：普遍存在的因果錯覺

從整體上看，沒有一個模型能夠穩定地識別出零權變情境并給出接近0的評分。相反，它們的評分普遍遠高于0。

• GPT-4o-Mini表現出最強的因果錯覺。其評分分布集中在非常高的數值，平均分高達75.74，中位數也達到了75。這表明它有一種極強的傾向，將不相關的事件解讀為強因果關系。
• Claude-3.5-Sonnet的評分分布雖然比GPT-4o-Mini的四分位距更窄，但其評分中位數穩定在50分（即“相當有效”），且標準差（19.67）表明其反應存在顯著的離散性，受到不少異常值的影響。
• Gemini-1.5-Pro表現出的因果錯覺程度最低，但其平均分（33.07）和中位數（45.0）依然遠高于0，表明它同樣未能擺脫這種偏見。

這些總體數據，通過分布圖（圖1）和匯總統計表（表2、表3、表4）得到了直觀和量化的呈現。

第一個核心貢獻：模型無法識別零權變

研究者們通過嚴謹的統計檢驗，證實了上述觀察的顯著性。他們使用了單樣本、單側Wilcoxon檢驗來驗證“模型的評分中位數是否顯著大于0”這一假設。

結果是壓倒性的：

• 對于GPT-4o-Mini，其中位數為75.7，p值遠小于0.001。更驚人的是，在其10000次（1000個場景 x 10次重復）回答中，給出正確答案“0”的比例是**0%**。
• 對于Claude-3.5-Sonnet，其中位數為50.0，p值遠小于0.001。它給出“0”分的比例也僅為4.6%。
• 對于Gemini-1.5-Pro，其中位數為45.0，p值遠小于0.001。它給出“0”分的比例相對最高，為20.5%。

這些統計結果用無可辯駁的證據表明，LLMs并非隨機犯錯，而是系統性地、持續地高估了零權變數據中的因果關系強度。它們無法遵循規范的統計原則，即在證據不足時拒絕建立因果聯系。

第二個核心貢獻：模型之間缺乏一致的判斷標準

一個自然而然的問題是：既然所有模型都犯了同樣的錯誤，它們是否遵循了某種相似的、但錯誤的“內在邏輯”？研究結果給出了否定的答案。

研究者使用了弗里德曼檢驗（Friedman test）來比較三個模型的反應分布。結果（χ2(df=2) = 1516.99, p < 0.001）強烈拒絕了“所有模型生成具有相同中心趨勢的響應”這一假設。這意味著，這三個模型在進行因果判斷時，其內部的“標準”是截然不同的。

進一步的成對Wilcoxon符號秩檢驗（Pairwise Wilcoxon signed-rank tests）更深入地揭示了這一點。檢驗結果表明，任意兩個模型之間的評分差異都不是以0為中心的。在實踐中，這意味著一個模型會系統性地比另一個模型給出更高（或更低）的評分。例如，在同一個零權變場景下，GPT-4o-Mini的評分幾乎總是高于Claude-3.5-Sonnet，而Claude-3.5-Sonnet的評分又傾向于高于Gemini-1.5-Pro。

這一發現極具啟發性。它說明LLMs的“因果推理”不僅是錯誤的，而且是“錯得五花八門”。它們沒有收斂到一個統一的、哪怕是錯誤的因果判斷模型上，而是各自發展出了一套獨特的、對數據中非因果模式的敏感性。這進一步削弱了它們具備通用因果推理能力的論點。

第三個核心貢獻：對“正確”答案的不同傾向性

盡管所有模型都表現不佳，但Gemini-1.5-Pro給出正確答案“0”的概率（20.5%）顯著高于其他兩個模型。科克倫Q檢驗（Cochran's Q test）也證實了這一差異的統計顯著性。

然而，研究者對此提出了一個非常重要的審慎解釋。他們指出，不能簡單地將此解讀為Gemini的因果推理能力“更好”。Gemini的反應標準差是三者中最高的（23.72），這意味著其輸出具有極高的變異性或不確定性。因此，它更頻繁地輸出“0”，可能并非源于一個穩定、可靠的識別零權變的能力，而更可能是一種“不確定如何回答”時的隨機行為產物。換言之，這種“正確”可能是高度不確定性帶來的偶然結果，而非真正理解的體現。

變量類型的影響：先驗知識的失效

最令人驚訝的發現之一，來自于對不同變量類別反應的分析（圖2）。按照常理推斷，模型在處理完全虛構的變量（如Glimber）或抽象變量（如藥物A）時，由于缺乏任何先驗知識，理應表現得更為“謹慎”或“懷疑”，給出的因果評分可能會更低。

然而，實驗結果恰恰相反。數據顯示，模型并沒有因為變量是虛構的或不確定的而降低其因果評分。甚至在某些情況下，它們對這些虛構變量給出的評分還略有升高的趨勢。同樣，在面對“撲熱息痛治療發燒”這類具有強現實世界先驗的場景時，模型也未能利用這些先驗知識來質疑眼前這份“無效”的零權變數據。

這一發現具有深刻的含義：LLMs在進行這項任務時，似乎完全被輸入文本的表層統計模式所“俘獲”，而未能有效地整合或利用關于變量本身的語義信息或背景知識來校準自己的判斷。無論是面對熟悉的、陌生的還是完全虛構的概念，它們都以一種近乎相同的方式，盲目地從數據巧合中推斷出因果關系。

討論與結論：復制語言，而非理解因果

這項研究的發現，為我們理解LLMs能力邊界提供了一個清晰而深刻的視角。

期望與現實的巨大鴻溝

研究者們坦言，他們最初的預期是LLMs會在這項任務上表現出色。畢竟，任務被改編成了對LLMs極為友好的列表格式，使其能夠輕松訪問全部數據，進行全局的統計計算。這本應是一場展現其超人計算能力的表演，結果卻成了一次集體性的認知失敗。這種期望與現實之間的巨大反差，本身就構成了一個強有力的論點：當前LLMs的核心能力，可能與我們所期望的“推理”存在本質區別。

支持“隨機鸚鵡”假說

該研究的結果為關于LLM理解能力的“隨機鸚鵡”（Stochastic Parrots）假說提供了堅實的經驗支持。該假說認為，LLMs本質上是在模仿和重組其在訓練數據中看到的語言模式，而沒有形成對世界真正的、抽象的理解。

在本研究的背景下，LLMs似乎已經學會了，當文本中出現“A發生，B也發生”這類共現模式達到一定頻率時，就應該生成“A對B有效”這類具有因果判斷色彩的語言。它們是在復制因果語言的模式，而不是在執行因果推理的邏輯過程。它們沒有內化“權變”這一指導因果推斷的規范性原則，因此無法在零權變這種“陷阱”情境下做出正確的判斷。

語言與經驗的學習鴻溝

一個特別值得玩味的觀點是，人類的因果錯覺通常被認為是通過直接的、序列化的個人經驗（一次又一次的試錯）形成的。而LLMs的訓練數據是靜態的、脫離了時序經驗的文本。那么，為什么一個純粹基于文本訓練的模型，會復現一個被認為是經驗驅動的認知偏見呢？

研究者推測，這可能意味著這種偏見已經深深地固化在人類的語言使用習慣之中。當人們描述事件時，會不自覺地使用帶有因果暗示的語言來描述巧合，這種語言模式被LLMs大規模地學習和吸收，最終內化為一種行為傾向。這揭示了LLMs作為“文化鏡像”的另一面：它們不僅反映了我們知識的精華，也同樣復刻了我們思維的缺陷。

局限性與未來展望

研究者們也坦誠地指出了當前工作的局限性，包括：由于方法論的差異，未能設置直接可比的人類實驗作為基線；實驗任務的設計與真實世界的LLM使用場景存在差異（外部效度問題）；以及0-100的評分量表本身可能對LLM的輸出行為產生影響（內部效度問題）。

基于此，他們也指明了未來研究的方向：

• 引入思維鏈（Chain-of-Thought）等提示技術，引導模型進行分步推理，看是否能改善其表現。
• 擴展測試場景，不僅包括零權變，也引入正權變和負權變場景，以更全面地評估模型的因果判斷能力。
• 研究試驗順序的影響，例如，將“服藥且康復”的成功案例放在列表開頭，看是否會像影響人類一樣，導致更高的因果評分（首因效應）。

最終結論與警示

總而言之，這項研究通過一個設計嚴謹、證據確鑿的實驗，首次系統性地揭示了主流大型語言模型普遍存在嚴重的“因果錯覺”偏見。它為我們提供了一個清晰的例證，展示了流暢的語言生成與真正的邏輯推理之間存在的巨大鴻溝。

這一結論的現實意義不容小覷。在醫療診斷、金融風控、司法判決等領域，錯誤的因果歸因可能導致災難性的后果。如果一個作為醫療助手的LLM，僅僅因為觀察到一些患者在服用某種草藥后恰好病情好轉（在一個零權變的數據背景下），就得出“該草藥有效”的結論，并將其傳遞給醫生或患者，其潛在危害是顯而易見的。

因此，這項工作不僅是一次對LLM技術能力的深刻剖析，更是一次及時的安全警示。它提醒所有AI的研究者、開發者和使用者，在擁抱LLMs帶來的巨大機遇的同時，必須對其能力的邊界和潛在的認知缺陷保持清醒和審慎的認識。在通往可靠、可信的通用人工智能的道路上，克服類似“因果錯覺”這樣的深層認知偏見，將是不可回避的核心挑戰。

參考鏈接：??https://arxiv.org/abs/2510.13985v1??

本文轉載自??上堵吟??，作者：一路到底的孟子敬