最近兩天，一篇入選 ACL 2024 的論文《Can Language Models Serve as Text-Based World Simulators?》在社交媒體 X 上引發了熱議，就連圖靈獎得主 Yann LeCun 也參與了進來。

這篇論文探討的問題是：當前語言模型本身是否可以充當世界模擬器，并正確預測動作如何改變不同的世界狀態，從而避免大量手動編碼的需要呢？

針對這一問題，來自亞利桑那大學、紐約大學、約翰斯?霍普金斯大學、微軟研究院、 艾倫人工智能研究所等機構的研究者在「基于文本的模擬器」上下文中給出了他們的答案。

他們認為：語言模型并不能作為世界模擬器使用。比如，GPT-4 在模擬基于常識任務（如燒開水）的狀態變化時，準確率僅為約 60%。

x 地址：https://x.com/peterjansen_ai/status/1801687501557665841

Yann LeCun 對這篇論文的發現表示了認同，并認為「沒有世界模型，也就沒有規劃。」

X 地址：https://x.com/ylecun/status/1801978192950927511

不過也有人表達了不同的觀點：當前 LLM（沒有進行針對性任務訓練）的準確率可以達到 60％，這不就說明了它們至少是「一定程度上的世界模型」嗎？并且會隨著 LLM 的迭代而持續改進。LeCun 又表示，世界模型不會是 LLM。

回到論文中，研究者構建并使用了一個全新的基準，他們稱為「ByteSized32-State-Prediction」，包含了一個文本游戲狀態轉換和隨附游戲任務組成的數據集。他們首次使用該基準來直接量化大語言模型（LLM）作為基于文本的世界模擬器的性能。

通過在這個數據集上測試 GPT-4，研究者發現：盡管它的性能令人印象深刻，但如果沒有進一步的創新，它仍然是一個不可靠的世界模擬器。

因此，研究者認為，他們的工作既為當前 LLM 的能力和弱點提供了新的見解，也為跟蹤新模型出現時的未來進展提供了一個新的基準。

論文地址：https://arxiv.org/pdf/2406.06485

方法概覽

研究者探究了 LLM 在基于文本的虛擬環境中充當世界模擬器的能力，在這種環境中，智能體接收觀察結果并以自然語言提出操作以完成某些目標。

每個文本環境都可以正式表示為具有 7 元組 (S,A,T,O,R,C,D) 的目標條件部分可觀察馬爾可夫決策過程 (POMDP)，S 表示狀態空間，A 表示動作空間，T : S×A→S 表示轉換函數，O 表示觀察函數，R : S×A→R 表示獎勵函數，C 表示描述目標和動作語義的自然語言「上下文消息」，D : S×A→{0,1} 表示二元完成指示函數。

大模型模擬器（LLM-Sim）任務

研究者提出了一個預測任務，稱它為 LLM as-a-Simulator (LLM-Sim)，用來定量評估語言模型作為可靠模擬器的能力。

LLM-Sim 任務是將一個函數 F : C×S×A→S×R×{0,1} 作為世界模擬器來實現。在實踐中，完整狀態轉換模擬器 F 應該考慮兩種類型的狀態轉換：動作驅動轉換和環境驅動轉換。

圖 1 為使用 LLM 作為文本游戲模擬器的示例：打開水槽后，水槽中的杯子被水填滿的過程。動作驅動轉換是采取打開水槽的動作后，水槽被打開（isOn=true）；而環境驅動轉換是在水槽打開時，水填滿水槽中的杯子。

為了更好地理解 LLM 對每個轉換進行建模的能力，研究者進一步將模擬器函數 F 分解為三個步驟：

• 動作驅動轉換模擬器：給定 c、s_t 和 a_t， F_act：C×S×A→S 預測 s^act_t+1，其中 s^act_t+1 表示動作引起的直接狀態變化。
• 環境驅動轉換模擬器：給定 c 和 s^act_t+1，F_env：C×S→S 預測 s_t+1，其中 s_t+1 是任何環境驅動轉換后產生的狀態。
• 游戲進度模擬器：給定 c、s_t+1 和 a_t， F_R：C×S×A→R×{0,1} 預測獎勵 r_t+1 和游戲完成狀態 d_t+1。

此外，研究者考慮了 LLM-Sim 任務的兩種變體

• 完整狀態預測：LLM 輸出完整狀態。
• 狀態差異預測：LLM 僅輸出輸入和輸出狀態之間的差異。

數據和評估

為了完成這一任務，研究者引入了一個新的文本游戲狀態轉換數據集。該數據集為 「BYTESIZED32-State-Prediction (BYTESIZED32-SP) 」，它包含 76,369 個轉換，表示為 (c,s_t,rt,d_t,a_t,s^act_t+1,s_t+1,r_t+1,d_t+1) 元組。這些轉換是從 31 個不同的文本游戲中收集的。

下表 1 總結了額外語料庫統計數據。

LLM-Sim 上的性能由模型相對于測試樣本數據集上的真實標簽的預測準確性來決定。根據實驗條件，LLM 必須模擬對象屬性（模擬 F_act、F_env 或 F）和 / 或游戲進度（模擬 F_R 或 F），定義如下：

• 對象屬性：游戲中所有對象、每個對象的屬性（如溫度、大小），以及與其他對象的關系（如在另一個對象內或之上）。
• 游戲進度：智能體相對于總體目標的狀態，包括當前累積的獎勵、游戲是否已終止以及總體目標是否已實現。

研究者注意到，在每種情況下，LLM 都提供了 ground truth 先前狀態（當函數為 F_env 時，先前狀態為 s^act_t+1 ）以及整體任務上下文。也就是說，LLM 始終執行單步預測。

實驗結果

上圖 1 演示了研究者使用上下文學習評估 LLM-Sim 任務中模型的性能。他們評估了 GPT-4 在完整狀態和狀態差異預測機制中的準確性。該模型接收先前狀態（編碼為 JSON 對象）、先前操作和上下文消息，并生成后續狀態（作為完整的 JSON 對象或差異）。

下表 2 展示了 GPT-4 模擬完整狀態轉換的準確性，以及單獨模擬動作驅動轉換和環境驅動轉換的準確性。

研究者得出了以下幾項重要發現：

預測動作驅動轉換比預測環境驅動轉換更容易。在最好的情況下，GPT-4 能夠正確模擬 77.1% 的動態動作驅動轉換。相比之下，GPT-4 最多只能正確模擬 49.7% 的動態環境驅動轉換。

預測靜態轉換比動態轉換更容易。不出所料，在大多數情況下，對靜態轉換進行建模比對動態轉換進行建模要容易得多。

對于動態狀態，預測完整游戲狀態更容易；而對于靜態狀態，預測狀態差異更容易。預測動態狀態的狀態差異可以顯著提高模擬靜態轉換的性能（>10%），而模擬動態轉換時的性能會降低。

游戲規則很重要，LLM 能夠生成足夠好的游戲規則。當上下文消息中未提供游戲規則時，GPT-4 在所有三個模擬任務上的性能在大多數情況下都會下降。

GPT-4 在大多數情況下都能預測游戲進度。下表 3 展示了 GPT-4 預測游戲進度的結果。在上下文中加入了游戲規則信息后，GPT-4 可以在 92.1% 的測試用例中正確預測游戲進度。這些規則的存在在上下文中至關重要：如果沒有它們，GPT-4 的預測準確率會下降到 61.5%。

人類在 LLM-Sim 任務中的表現優于 GPT-4。研究者對 LLM-Sim 任務進行了初步的人類研究。結果見下表 4。

結果發現，人類的整體準確率為 80%，而采樣的 LLM 的準確率為 50%，并且不同注釋者之間的差異很小。這表明，雖然任務對于人類來說總體上是直觀且相對容易的，但對于 LLM 來說仍有很大的改進空間。 

GPT-4 在需要算術、常識或科學知識時更容易出錯。下圖 2 展示了在整體狀態轉換、動作驅動轉換和環境驅動轉換中，預測結果的正確比例、將屬性設置為不正確值的比例或未能更改屬性值的比例。

我們可以觀察到，GPT-4 能夠很好地處理大多數簡單的布爾值屬性。錯誤集中出現在需要算術（如溫度、timeAboveMaxTemp）、常識（如 current_aperture、current_focus）或科學知識（如 on）的非平凡屬性上。

更多技術細節和實驗結果請參閱原論文。