RAG 系統(tǒng)生成不準(zhǔn)確/無(wú)用回答是很常見(jiàn)的。

今天，我們來(lái)看看如何使用 Cleanlab Codex 來(lái)改進(jìn)這一點(diǎn)。Cleanlab Codex 通常用于生產(chǎn)系統(tǒng)中，可以自動(dòng)檢測(cè)并解決 RAG 的不準(zhǔn)確問(wèn)題。

下文我們?cè)敿?xì)剖析之。

一、Agentic RAG 工作流架構(gòu)設(shè)計(jì)

第一、Agentic RAG 工作流使用的技術(shù)棧

• 使用 LlamaIndex 進(jìn)行編排；
• 使用 Milvus 作為自托管的向量數(shù)據(jù)庫(kù)；
• 使用 Cleanlab Codex 驗(yàn)證回答；
• 使用 OpenRouterAI 訪問(wèn)最新的 Qwen3 C。

第二、Agentic RAG 工作流架構(gòu)設(shè)計(jì)

• LLM 處理查詢以選擇工具；
• 將查詢轉(zhuǎn)換為正確的格式（文本/SQL）；
• 執(zhí)行工具并獲取輸出；
• 生成帶有豐富上下文的回答；
• 使用 Cleanlab 的 Codex 驗(yàn)證回答

二、Agentic RAG 工作流代碼實(shí)現(xiàn)

第一、設(shè)置 LLM

我們將使用通過(guò) OpenRouter 提供的最新 Qwen3。確保 LLM 支持工具調(diào)用，以便無(wú)縫執(zhí)行。

第二、設(shè)置 SQL 查詢引擎 

自然語(yǔ)言到 SQL 引擎可以將普通查詢轉(zhuǎn)換為 SQL 命令，從而實(shí)現(xiàn)輕松的數(shù)據(jù)交互。

第三、設(shè)置 RAG 查詢引擎

 使用 Docling 將 PDF、DOCX 或任何文檔轉(zhuǎn)換為 Markdown 格式，以便進(jìn)行向量存儲(chǔ)。查詢引擎從 Milvus 中獲取上下文，將其與查詢結(jié)合，然后發(fā)送給 LLM 以獲取回答。

第四、設(shè)置工具

現(xiàn)在，是時(shí)候設(shè)置并使用我們上面定義的兩個(gè)查詢引擎作為工具了。我們的 AI 智能體將智能地將查詢路由到正確的工具。

第五、Cleanlab Codex 驗(yàn)證

接下來(lái)，我們通過(guò)幾行代碼將 Cleanlab Codex 集成進(jìn)來(lái)，以評(píng)估和監(jiān)控 RAG 應(yīng)用。

第六、創(chuàng)建 Agentic 工作流

一切準(zhǔn)備就緒后，讓我們創(chuàng)建我們的 Agentic 路由工作流。

第七、啟動(dòng)工作流

 一切準(zhǔn)備妥當(dāng)，是時(shí)候激活我們的工作流了。我們首先為 LLM 配備兩個(gè)工具：文檔和文本到 SQL 查詢。之后，我們啟動(dòng)工作流。

第八、Streamlit 用戶界面

為了提升用戶體驗(yàn)，我們將所有內(nèi)容都展示在一個(gè)簡(jiǎn)潔且交互式的 Streamlit 用戶界面中。

在提示詞后，注意應(yīng)用會(huì)在生成的回答上顯示一個(gè)信任分?jǐn)?shù)。這對(duì)于容易出現(xiàn)不準(zhǔn)確和幻覺(jué)的 RAG/AI 智能體工作流來(lái)說(shuō)非常重要。

除此之外，我們還能獲得每次測(cè)試運(yùn)行的具體評(píng)估指標(biāo)，以及詳細(xì)的見(jiàn)解和推理：

完整代碼 GitHub 獲取地址：

→  ???https://github.com/patchy631/ai-engineering-hub/tree/main/rag-sql-router??

本文轉(zhuǎn)載自??玄姐聊AGI??  作者：玄姐