大模型在復雜推理任務上潛力如何？多智能體互動框架ThinkThrice玩轉劇本殺
劇本殺是一種廣受歡迎的多角色扮演偵探游戲，要求玩家扮演不同的角色。通過閱讀角色文本、理解各自的故事、搜集線索、以及邏輯推理，玩家們共同努力揭開謎團。游戲角色通常被分為平民和兇手兩大類：平民的目標是找出隱藏在他們中間的兇手，而兇手則盡力隱藏自己的身份，避免被發現。那么，如果讓 AI 加入游戲，會產生怎樣的新變化呢？
劇本殺游戲流程。
加拿大蒙特利爾大學和 Mila 研究所的研究團隊帶來了一項令人興奮的新研究，將 AI 的潛力引入到劇本殺游戲中。這項研究不僅展現了大型語言模型（LLM）在復雜敘事環境中的應用潛力，而且為 AI 智能體的推理能力評估設定了新的試驗場。讓我們一起深入了解這項研究的細節和其帶來的啟發。
論文鏈接：https://arxiv.org/abs/2312.00746
研究動機：AI 與劇本殺的交匯
AI 的進步已經使其被廣泛應用于各種游戲中。然而，劇本殺游戲以其獨特的玩法和復雜的設置，仍是一塊待開發的新領域。為了將 AI 引入劇本殺游戲中，蒙特利爾大學的研究團隊面臨三個主要挑戰：
首先，劇本殺游戲中復雜的角色情節和人物關系要求 AI 不僅要理解所扮演的游戲角色的背景和動機，還要能夠適應游戲劇情的多層次敘事，通過在游戲中和其他角色互動來收集其他角色的信息、還原案件原貌。
其次，由于缺乏專門為劇本殺設計的數據集，需要開發一個包含豐富文本的劇本殺數據集，這對于啟動和評估 AI 模型至關重要。
最后，如何準確定量和定性地評估 AI 在劇本殺游戲中的表現也是極具挑戰性的任務。因為在劇本殺游戲中，目標不僅是贏得比賽，更重要的是理解游戲劇情并揭露案件的真相。為此，AI 需要在參與游戲的過程中展示出卓越的溝通交流、信息收集以及邏輯推理能力。
這項研究的貢獻主要涵蓋四個方面：
- 首先，團隊構建了一個專門針對劇本殺游戲的數據集，旨在啟動和評估 AI 模型；
- 其次，團隊設計了一個多智能體互動框架，允許劇本殺游戲自動進行，從而無需人為干預；
- 再者，團隊開發了一套量化和質化評估方法，以評估 LLM 智能體在游戲中的信息搜集和推理能力；
- 最后，通過利用最新的上下文學習技術，團隊設計了增強 LLM 智能體性能的模塊。
此項研究不僅推動了 AI 在多角色互動的復雜敘事游戲：劇本殺中的應用研究，也為智能體的評估和性能優化提供了新的視角和方法。
數據集構建：劇本殺游戲的數字化轉型
為了在劇本殺的環境下啟動和評估 AI 模型，研究團隊精心收集了 1115 個劇本殺游戲案例，創建了一個龐大的數據庫。這些游戲包含了豐富的關于劇本殺游戲的游戲規則、劇情故事、角色背景、案件線索等文本信息，為 AI 的仿真和測試提供了理想的素材，使得研究人員能夠在模擬的環境中準確觀察和評估 AI 智能體的表現。此外，數據集還提供了圖片、視頻、音頻等多模態的信息，為未來多模態的 AI 智能體的開發和測試提供了可能。
表 1. 劇本殺數據集中不同模態的游戲劇本數量
表 2：劇本殺數據集中游戲劇本的玩家數量和token統計。
ThinkThrice 框架：AI 如何玩轉劇本殺
研究團隊開發了一個名為 ThinkThrice (三思) 的多智能體互動框架，允許基于 LLM 的 AI 智能體自主參與劇本殺游戲。這個框架通過記憶檢索、自我完善和自我驗證三個使用上下文學習技術的 模塊確保 AI 智能體能夠有效地理解游戲情景，收集信息，并進行邏輯推理。AI 智能體的每一步動作，包括詢問、回應、投票等，都是基于其角色劇本和以往的交互記錄由 LLM 自動產生的。
ThinkThrice (三思) 框架。
評估方法：新的評價標準
研究者設計了事實性問題回答和推理性問題回答兩項任務來評估 AI 智能體的表現。事實性問題旨在測試 AI 智能體在游戲過程中收集的信息量，而推理性問題則評估 AI 使用這些信息進行推理的能力。其中推理性問題不僅需要考察 AI 智能體對特定問題的答案，還要評估其背后的推理過程是否合理。
表 3：事實性問題示例。
表 4：推理性問題示例。
實驗結果：AI 智能體的偵探能力評估
實驗結果表明，與基線模型相比，引入記憶檢索、自我完善和自我驗證模塊的 AI 智能體在回答關于其他角色的事實性問題時，準確率得到了顯著提升。這證明了信息交流在理解游戲中其他角色的行為和動機方面至關重要。此外，AI 智能體信息收集能力的增強，也顯著提高了其在推理解案和識別兇手方面的表現。這表明 AI 智能體通過收集充足的信息和進行有效的推理，能夠更準確地確定兇手身份。
表 5：AI 智能體回答關于自己扮演角色的事實性問題 (Own Q) 和其他角色的事實性問題 (Other’s Q) 的準確率。
AI 智能體使用 GPT-3.5 和 GPT-4 時的推理準確率。
AI 智能體的兇手識別準確率和平民玩家勝率。
結語
該研究通過將大型語言模型（LLM）智能體引入偵探角色扮演游戲 “劇本殺”，探索了 LLM 智能體在復雜敘事環境中的應用潛力，為觀察和評估 LLM 智能體的行為及能力提供了新的視角和方法，并為社區深入理解大型語言模型的能力開辟了新途徑。通過實證研究，該團隊證明了其設計的多智能體互動框架和上下文學習模塊在信息收集、兇手識別和邏輯推理能力方面，相較于基線模型有了顯著提升。這一發現預示著 LLM 在復雜推理任務中應用的廣闊前景。預計在不遠的將來，AI 將能夠與人類攜手解決復雜場景的推理問題。
