RAG全景圖：從RAG啟蒙到高級RAG之36技，再到終章Agentic RAG！

發(fā)布于 2024-6-14 15:01

瀏覽

0收藏

檢索增強生成（RAG：Retrieval-Augmented Generation）技術(shù)可追溯到2020年Facebook發(fā)表的一篇論文：“Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks”。它結(jié)合了信息檢索和生成模型技術(shù)，通過引入外部知識庫信息，解決知識密集型NLP任務(wù)的效果：問答、文本摘要等。

大模型RAG之啟蒙

大型語言模型（LLMs）雖然展現(xiàn)出了令人印象深刻的能力，但它們在處理特定領(lǐng)域或知識密集型任務(wù)時面臨諸如產(chǎn)生幻覺（hallucination）、知識過時以及推理過程不透明和不可追溯等挑戰(zhàn)。

RAG技術(shù)通過整合外部數(shù)據(jù)庫中的知識，作為解決這些問題的有前途的方案。它增強了生成的準確性和可信度，特別是對于知識密集型任務(wù)，并允許持續(xù)的知識更新和整合特定領(lǐng)域的信息。

大模型RAG核心濃縮成兩個核心階段：

檢索階段：模型首先從外部知識庫中檢索與輸入文本相關(guān)的信息。這個知識庫可以是對大規(guī)模文本數(shù)據(jù)集進行索引處理后形成的數(shù)據(jù)庫。

生成階段：將檢索到的信息作為輸入，到一個生成模型中（如Llama3）。這個生成模型會基于輸入信息，生成最終的響應(yīng)或文本。

RAG全景圖：從RAG啟蒙到高級RAG之36技，再到終章Agentic RAG！-AI.x社區(qū)

高級RAG之36技

從架構(gòu)、模塊、技術(shù)三個維度講解了整個大模型高級RAG企業(yè)落地全過程之技術(shù)要點，一個框架、10個模塊、36種技術(shù)！對一些復(fù)雜核心模塊：分塊、向量、重排也進行了系統(tǒng)性總結(jié)和概況！

Query理解（Query NLU）：使用LLM作為基礎(chǔ)引擎來重寫用戶Query以提高檢索質(zhì)量，涉及Query意圖識別、消歧、分解、抽象等，總計7種技術(shù)。

Query路由（Query Routing）：查詢路由是LLM支持的決策步驟，根據(jù)給定的用戶查詢下一步該做什么，總計1種技術(shù)。

索引（Indexing）：是當(dāng)前RAG中比較核心的模塊，包括文檔解析（5種工具）、文檔切塊（5類）、嵌入模型（6類）、索引類型（3類）等內(nèi)容，總計8種技術(shù)。

Query檢索（Query Retrieval）：重點關(guān)注除典型RAG的向量檢索之外的圖譜與關(guān)系數(shù)據(jù)庫檢索（NL2SQL），總計3種技術(shù)。

重排（Rerank）：來自不同檢索策略的結(jié)果往往需要重排對齊，包括重排器類型（5種），自訓(xùn)練領(lǐng)域重排器等，總計3種技術(shù)。

生成（Generation）：實際企業(yè)落地會遇到生成重復(fù)、幻覺、通順、美化、溯源等問題，涉及到RLHF、偏好打分器、溯源SFT、Self-RAG等等，總計7種技術(shù)。

評估與框架：RAG需要有全鏈路的評價體系，作為RAG企業(yè)上線與迭代的依據(jù)，總計3種技術(shù)。

RAG新技術(shù)：RAG未來將走向哪里？探討未來的一些可能得方向，以及如何實現(xiàn)，總計3種技術(shù)。

一張全景框架圖，梳理了10個模塊，36種技術(shù)（原版圖，可編輯）

終章之Agentic RAG

最終，大模型RAG問答終章是Agentic RAG!?

向Lv2-智能體提出一個問題。
while (Lv2-智能體無法根據(jù)其記憶回答問題) {
    Lv2-智能體提出一個新的子問題待解答。
    Lv2-智能體向Lv1-RAG提問這個子問題。
    將Lv1-RAG的回應(yīng)添加到Lv2-智能體的記憶中。
}
Lv2-智能體提供原始問題的最終答案。

例如，Query：“與第五交響曲創(chuàng)作于同一世紀的交通工具是什么？”，Agent分兩個子問題來解決：