一、回顧下 RAG

RAG 的基本工作流程

RAG 的全稱是 "Retrieval-Augmented Generation" ，翻譯成人話就是"檢索增強生成"。聽起來還是很專業對吧？讓我用一個生活中的例子來解釋。

想象你是一個剛入職的新員工，老板突然問你："咱們公司去年第三季度的銷售數據怎么樣？"作為新人，你肯定不知道答案。這時候你會怎么辦？當然是先去查資料啊！你可能會翻翻公司的財務報表、問問其他同事、查查內部系統，然后把找到的信息整理一下，給老板一個完整的回答。

RAG 就是讓 AI 做同樣的事情。當你問 AI 一個問題時，它不會直接憑空編造答案（那樣容易"胡說八道"），而是會先去"查資料"——從龐大的知識庫中搜索相關信息，然后基于這些真實可靠的資料來回答你的問題。這樣一來，AI 的回答就有了依據，準確性大大提高。

讓我們用一個簡單的流程圖來看看 RAG 是怎么工作的： 

圖片

一切都看起來很完美對吧？但實際上，這個流程有一個很大的問題：在第 E 步"挑選前 10 篇最相關的"這里，AI 經常會"挑錯"。 它可能把一篇講糖尿病發病機理的學術論文排在第一位，而把真正實用的飲食指南排在第八位。這就是為什么我們需要 Rerank 技術的原因。

二、Rerank 是什么？

如果把 RAG 比作一個找資料的過程，那么 Rerank 就像是一個經驗豐富的智能秘書。當 AI 初步找到了一堆可能有用的資料后，這個"智能秘書"會仔細審查每一份資料，評估它們與你的問題到底有多匹配，計算其相關性，然后重新排列順序，把最有用的放在最前面。

舉個具體例子：你問"如何治療失眠？" 沒有 Rerank 的情況下，AI 可能會這樣排序：

1. 《睡眠障礙的神經生物學機制研究》（學術性太強）
2. 《安眠藥的藥理作用分析》（太專業）
3. 《改善睡眠質量的 10 個小貼士》（這個才是你真正需要的！)

有了 Rerank 之后，排序變成了：

1. 《改善睡眠質量的 10 個小貼士》
2. 《失眠患者的日常調理方法》
3. 《睡前放松技巧大全》 看到區別了嗎？Rerank 就像一個懂你的朋友，知道你真正想要的是什么。

三、Rerank 的工作原理：從"粗篩"到"精選"

Rerank 采用的是"兩步走"策略，我們用公司招聘過程舉例：

第一步：海選（初步檢索）

就像公司招聘時先通過簡歷篩選一樣，AI 會快速瀏覽整個知識庫，把所有可能相關的文檔都找出來。這一步追求的是"寧可錯殺一千，不可放過一個"，所以會找到很多文檔，幾十上百篇，甚至更多。

第二步：面試（Rerank 精選）

接下來就是 Rerank 的主場了。它會像面試官一樣，仔細"面試"每一篇文檔，問它們："你真的能回答用戶的問題嗎？你的內容有多相關？你的信息有多可靠？"然后給每篇文檔打分，重新排序。 

圖片

這種"兩步走"的好處是既保證了速度（第一步很快），又保證了質量（第二步很準）。

三、Rerank 的特性

語義理解能力

傳統的搜索方式主要靠"關鍵詞匹配"，就像古代的"對暗號"一樣死板。比如你搜"手機發熱"，它只會找包含"手機"和"發熱"這兩個詞的文章。 但 Rerank 不一樣，它具備強大的語義理解能力。即使你問的是"手機燙手怎么辦？"，它也能理解你說的"燙手"其實就是"發熱"的意思，從而找到真正相關的解決方案。

上下文關聯分析

Rerank 還能理解詞語之間的關聯關系。比如當你問"糖尿病患者能吃什么水果？"時，它不僅知道你在問糖尿病，還能理解這個問題涉及到血糖控制、營養成分、水果的糖分含量等多個相關概念，從而找到最全面、最準確的答案。

個性化推薦

更厲害的是，先進的 Rerank 系統還能根據你的提問習慣和背景來調整排序。比如，如果系統發現你經常問一些基礎性的健康問題，它就會優先推薦通俗易懂的科普文章，而不是專業的醫學論文。

四、Rerank 的技術原理

雙編碼器 vs 交叉編碼器

Rerank 主要用到兩種技術方法：

雙編碼器（就像兩個獨立的翻譯官）：

想象有兩個翻譯官，一個專門翻譯你的問題，另一個專門翻譯文檔內容。他們各自工作，然后比較翻譯結果的相似度。這種方法速度快，但有時候會"理解偏差"。

交叉編碼器（就像一個全能的分析師）：

這就像一個既懂你的問題又懂文檔內容的全能分析師，他會把你的問題和每篇文檔放在一起綜合分析，判斷它們的匹配度。雖然慢一點，但準確性更高。

Rerank 通常使用交叉編碼器，因為在候選文檔數量不多的情況下（比如只有幾十篇），準確性比速度更重要。

Rerank 的評分機制

Rerank 給每篇文檔打分的過程，就像老師給學生作文打分一樣：

1. 相關性得分：這篇文檔和問題有多相關？（占 40%）
2. 完整性得分：這篇文檔的信息是否完整？（占 30%）
3. 可讀性得分：這篇文檔是否容易理解？（占 20%）
4. 時效性得分：這篇文檔的信息是否是最新的？（占 10%） 最后把所有得分加起來，分數最高的文檔排在最前面。比如你向 AI 提出"美聯儲加息對 A 股的影響"，通過 Rerank 會得出更可靠的回答。

圖片

五、常見 Rerank 模型

目前市面上有很多優秀的 Rerank 模型，每個都有自己的特點：

模型對比表

圖片

選擇建議速查表

圖片

推薦模型詳解

bge-reranker-v2-m3

• 優勢：中英文雙語優化，在中文場景下表現卓越
• 適用場景：中文知識問答、客服系統、文檔檢索
• 技術特點：560M 參數，支持多語言，部署友好
• 性能指標：NDCG@10 達到 0.67，在中文檢索任務中表現優異

Cohere/rerank-multilingual-v3.0

• 優勢：商業級穩定性，API 服務便捷
• 適用場景：大型企業應用，高并發場景
• 技術特點：支持 100+語言，云端 API 調用
• 性能指標：多項基準測試中排名前列

TinyBERT-reranker

• 優勢：極致輕量，推理速度快
• 適用場景：移動端應用，邊緣計算，實時系統
• 技術特點：模型大小僅為 BERT 的 1/7，速度提升 9 倍
• 性能指標：在保持較高準確率的同時大幅提升速度