將推理與RAG相結合仍面臨挑戰，例如復雜查詢需要多步分解，且LLMs難以生成精確的子查詢，導致檢索效率低下。

人類思維過程與 DeepRAG 的對應關系。具體來說，檢索敘事確保了結構化和自適應的檢索流程，根據之前檢索到的信息生成子查詢，并且原子決策動態地決定是否檢索外部知識，或者僅依賴于每個子查詢的參數知識。

中科院&中科大&騰訊微信AI部聯合推出最新（2025.02）DeepRAG，讓大型語言模型逐步推理檢索：

DeepRAG框架將檢索增強推理建模為馬爾可夫決策過程（MDP），通過迭代分解查詢，動態決定是否檢索外部知識或依賴參數推理。

DeepRAG 框架的概述，包括三個步驟：（1）二叉樹搜索，（2）模仿學習，以及（3）校準鏈。給定一個數據集，首先使用二叉樹搜索來合成模仿學習的數據，使模型能夠學習檢索模式。隨后，利用二叉樹搜索構建偏好數據，以進一步校準 LLM 對其知識邊界的認知。

框架包含三個關鍵步驟：

1. 二叉樹搜索（Binary Tree Search）：為每個子查詢構建二叉樹，探索基于參數知識或外部知識庫的不同回答策略。通過這種方式，模型不僅分解問題，還徹底檢查檢索選擇對最終答案的影響。
2. 模仿學習（Imitation Learning）：使用優先隊列高效探索潛在推理軌跡，優先考慮檢索成本較低的路徑。通過二叉樹搜索合成數據，讓模型學習有效的檢索模式，并通過模仿學習提取到達正確最終答案的推理過程。
3. 校準鏈（Chain of Calibration）：通過合成偏好數據確定何時需要檢索，并使用這些數據微調LLMs，增強其基于內部知識邊界的原子決策能力。

MDP建模

• 狀態（States）：表示對原始問題的部分解決方案。
• 動作（Actions）：包括終止決策（是否繼續生成子查詢）和原子決策（是否檢索外部知識）。
• 轉移（Transitions）：根據動作更新狀態。
• 獎勵（Rewards）：基于答案正確性和檢索成本評估狀態。

數據集：使用五個開放域問答數據集，包括HotpotQA、2WikiMultihopQA、CAG、PopQA和WebQuestions。

基線：與多種現有方法進行比較，包括CoT、CoT-Retrieve、IterDRAG、UAR、FLARE、DRAGIN、TAARE和AutoRAG。

DeepRAG在所有數據集上均優于現有方法，平均答案準確率提高了21.99%，同時提高了檢索效率。

案例研究：Auto-RAG 與 DeepRAG 的對比。DeepRAG 通過原子級查詢分解、可靠的中間答案以及自適應地使用內部知識實現了成功。

https://arxiv.org/abs/2502.01142
DeepRAG: Thinking to Retrieval Step by Step for Large Language Models

本文轉載自??PaperAgent??