什么是Reranker模型？

ReRanker模型是對RAG檢索返回的結果進行重新排序的模型。也就是下圖所示中2nd Retrieval的模型。具體來說，ReRanker模型在RAG Pipeline中扮演著第二階段的角色，即在初始檢索步驟之后，對檢索出的文檔塊chunks進行重新排序，以確保相關的文檔塊優先被傳遞給LLM進行處理。

為什么需要Reranker模型？

在回答這個問題之前，我們先深入了解一下背后的問題。

RAG通過在大量文本文檔中進行語義搜索來工作，這些文檔數量可能達到數十億。為了實現大規模搜索的快速響應，我們一般采用向量搜索技術，即將文本轉化為向量后，放入一個向量空間內，通過余弦相似度等度量標準來比較它們與查詢向量之間的相似度。

向量搜索的前提是需要向量。這些向量基本上是將文本背后的意義壓縮成固定維度的向量（如768或1536維），這一過程不可避免地會導致信息丟失。因此，常常會發現，即便是排名靠前的文檔，也可能會遺漏一些關鍵信息。

如果較低位置的文檔包含了有助于LLM更好地形成回答的相關信息，這些信息就很容易被忽略。這該怎么辦？一個簡單的方法就是增加返回的文檔數量，即增加top_k值，并將它們全部傳遞給LLM。

我們此處關注的指標是召回率，即“我們檢索到了多少相關文檔”。值得注意的是，召回率衡量的是系統能夠找到的相關文檔的比例，而不考慮檢索到的文檔總數。因此，理論上通過返回所有文檔可以實現完美的召回率。

然而，這在實際操作中是不可行的，一是因為大語言模型（LLM）對輸入文本量有一定的限制，我們稱之為「上下文窗口」。即使像Anthropic 的 Claude這樣的模型擁有高達100K Token的巨大上下文窗口，也不能無限制地增加輸入文本量。二是當上下文窗口被過多的Token填滿時，大語言模型的回憶能力和執行指令的效果都會受到影響。研究表明，過度填充上下文窗口會降低模型在該窗口中檢索信息的能力，從而影響生成回答的質量。

為了解決召回率和LLM上下文窗口之間的矛盾，Reranker模型提供了一種有效的解決方案。具體步驟如下：

(1) 最大化檢索召回率

在初始檢索階段，通過增加向量數據庫返回的文檔數量（即增加 top_k 值），可以提高檢索的召回率。這意味著盡可能多地檢索相關文檔，確保不會遺漏任何可能有助于 LLM 形成高質量回答的信息。

(2) 重新排序并篩選最相關的文檔

在第二階段，使用 Reranker 模型對檢索到的大量文檔進行> 重新排序。Reranker 模型能夠更精確地評估查詢與文檔的相> 關性，篩選出最相關的文檔，并減少最終傳遞給 LLM 的文檔> 數量。這一步驟的關鍵在于：

• 重新排序：根據查詢和文檔的相關性分數對文檔進行重新排序。
• 篩選：只保留最相關的文檔，確保這些文檔在 LLM 的上下文窗口內。

(3) 確保 LLM 處理高質量信息

通過上述兩步，Reranker 模型不僅提高了檢索的召回率，還確保了傳遞給 LLM 的文檔是最相關的。這使得 LLM 能夠基于高質量的信息生成更準確、更有價值的回答，同時避免了上下文窗口過載的問題。

Reranker模型的原理

重排序模型（也被稱為Cross-Encoder）是一種模型，能夠針對一個查詢和文檔對，輸出它們的相似度分數。我們利用這個分數對文檔按照與查詢的相關性進行重新排序。

其本質是一個包含兩階段的檢索系統：

• 第一階段：快速檢索（Vector DB或Bi-Encoder檢索）：使用雙編碼器（Bi-Encoder）或稀疏嵌入模型從大數據集中快速提取一組相關文檔。這一階段的核心目標是高效地縮小搜索范圍，確保能夠在短時間內處理大規模數據集。雙編碼器將查詢和文檔分別編碼為向量，并通過余弦相似度等度量標準計算它們的相似性。
• 第二階段：精確重排序（Reranker / Cross-Encoder）：使用重排序模型（Reranker）對第一階段提取的文檔進行重新排序。Reranker模型能夠更精確地評估查詢與文檔的相關性，輸出它們的相似度分數，并根據相似度分數對文檔進行重新排序，返回最相關的前K個文檔。這一階段的目標是提高檢索結果的相關性，確保最相關的文檔優先傳遞給大語言模型（LLM）。

為什么采用兩階段策略？

是因為從大數據集中檢索少量文檔的速度遠快于對大量文檔進行重排序。簡而言之，重排序器處理較慢，而檢索器速度快。

盡管重排序器的處理速度較慢，但我們仍然選擇使用它們，關鍵在于其精確度遠超過嵌入模型。

雙編碼器（Bi-Encoder）精度較低的根本原因在于：

• 雙編碼器將文檔和查詢分別編碼為固定維度的向量（如768或1536維），這一過程不可避免地會導致信息丟失。文本的豐富語義被壓縮成一個低維向量，無法完全保留原始文本的所有潛在含義。
• 雙編碼器在用戶提出查詢之前就已經創建了嵌入，因此它對查詢的具體內容一無所知。這意味著它只能生成一個泛化的、平均化的含義，而無法針對具體查詢進行優化。這種靜態的嵌入方式限制了其在處理復雜查詢時的表現。

而重排序器（Reranker / Cross-Encoder）能夠在大型Transformer中直接處理原始文本信息，避免了信息壓縮帶來的損失。它可以直接分析查詢和文檔的原始文本，確保所有相關信息都能被充分考慮。

然而，盡管重排序器具有更高的精度，但它也有代價，就是需要更多的時間來生成相似度分數。

因此在實際應用中，通常會結合兩者優勢，采用兩階段檢索策略：

• 第一階段：使用雙編碼器快速檢索出一批候選文檔。
• 第二階段：使用重排序器對這批候選文檔進行重新排序，確保最終返回的文檔是最相關的。

這種組合方式既能保證檢索的速度，又能提高結果的準確性。例如，在處理4000萬條記錄的情況下，如果僅使用重排序器，可能會需要超過50小時來返回一個查詢結果；而使用雙編碼器和向量搜索，則可以在不到100毫秒內完成初步篩選。隨后，再用重排序器對篩選出的少量文檔進行精排，既提高了效率又保證了質量。