一種先進(jìn)的檢索增強(qiáng)型生成（RAG）開源解決方案，旨在解決簡單的基于語義相似性的檢索無法解決的復(fù)雜問題。

展示了一個(gè)復(fù)雜的確定性圖，作為高度可控的自主Agent的“大腦”，能夠回答來自私域數(shù)據(jù)的復(fù)雜問題。

關(guān)鍵特性 

• 復(fù)雜的確定性圖：作為Agent的“大腦”，使復(fù)雜推理成為可能。
• 可控自主Agent：能夠回答自定義數(shù)據(jù)集中的復(fù)雜問題。
• 幻覺預(yù)防：確保答案僅基于提供的數(shù)據(jù)，避免AI幻覺。
• 多步驟推理：將復(fù)雜查詢分解為可管理的子任務(wù)。
• 適應(yīng)性規(guī)劃：基于新信息不斷更新其計(jì)劃。
• 性能評估：使用Ragas指標(biāo)進(jìn)行全面質(zhì)量評估。

工作流程

• PDF加載和處理：加載PDF文檔并將其拆分為章節(jié)。
• 文本預(yù)處理：清洗和預(yù)處理文本，以獲得更好的摘要和編碼。
• 摘要：使用大型語言模型為每個(gè)章節(jié)生成廣泛的摘要。
• 書籍引用數(shù)據(jù)庫創(chuàng)建：為需要訪問書籍引用的特定問題創(chuàng)建數(shù)據(jù)庫。
• 向量存儲編碼：將書籍內(nèi)容和章節(jié)摘要編碼為向量存儲，以便高效檢索。
• 問題處理：

通過將命名實(shí)體替換為變量來匿名化問題。

為匿名化的問題生成高層次的計(jì)劃。

去匿名化計(jì)劃并將其分解為可檢索或可回答的任務(wù)。

• 任務(wù)執(zhí)行：
• 對于每個(gè)任務(wù)，根據(jù)上下文決定是檢索信息還是回答問題。
• 如果是檢索，從向量存儲中獲取相關(guān)信息并提煉它。
• 如果是回答，使用思維鏈推理生成響應(yīng)。
• 驗(yàn)證和重新規(guī)劃：
• 驗(yàn)證生成的內(nèi)容是否基于原始上下文。
• 根據(jù)新信息重新規(guī)劃剩余步驟。
• 最終答案生成：使用累積的上下文和思維鏈推理生成最終答案。

使用案例：哈利·波特書籍分析 

該算法使用第一本哈利·波特書籍進(jìn)行了測試，允許監(jiān)控模型對檢索信息與預(yù)訓(xùn)練知識依賴度的對比。這種選擇使我們能夠驗(yàn)證模型是在使用其預(yù)訓(xùn)練的知識，還是嚴(yán)格依賴從向量存儲中檢索到的信息。

示例問題 問：主人公是如何打敗反派的助手的？

為了解決這個(gè)問題，需要執(zhí)行以下步驟：

1. 確定情節(jié)中的主角。
2. 確定反派角色。
3. 確定反派的助手。
4. 搜索主角與反派之間的對抗或互動(dòng)。
5. 推斷導(dǎo)致主角打敗助手的原因。Agent能夠分解并解決這樣復(fù)雜的查詢，展示了其復(fù)雜的推理能力。

https://github.com/NirDiamant/Controllable-RAG-Agent

本文轉(zhuǎn)載自??PaperAgent??