RAG高級優化：檢索策略探討Fusion, HyDE安排上(含代碼) 原創 精華
傳統的檢索方法通常依賴于對query進行語義理解(基于向量)或關鍵字匹配(BM25)，這兩種方法都有其優點和缺點。融合檢索、HyDE和RAG-Fusion可以創建一個更健壯和準確的檢索系統。本文將介紹三種優化方法：
- Fusion retrieval：基于向量和基于bm25的檢索
- HyDE(假設文檔嵌入)：通過根據查詢生成和嵌入假設文檔來增強檢索。
- RAG-Fusion：通過結合多次搜索迭代的結果來提高檢索質量。
高級 RAG 技術介紹
Fusion Retrieval
融合檢索是一種強大的文檔搜索方法，它結合了語義理解和關鍵字匹配的優勢。通過利用基于向量和BM25的檢索方法，它為信息檢索任務提供了更全面、更靈活的解決方案。這種方法在概念相似性和關鍵字相關性都很重要的各個領域都有潛在的應用，例如學術研究、法律文檔搜索或通用搜索引擎。
實現方法:
- 接受一個查詢，并執行基于向量和基于bm25的檢索。
- 兩種方法的得分歸一化到一個共同的尺度。
- 計算這些分數的加權組合(由alpha參數控制)。
- 根據綜合得分對文檔進行排名，并返回前k個結果。
優點：
提高檢索質量:通過結合語義搜索和基于關鍵字的搜索，系統可以捕獲概念相似度和精確的關鍵字匹配。
靈活性:alpha參數允許根據特定用例或查詢類型調整矢量和關鍵字搜索之間的平衡。
健壯性:組合方法可以有效地處理更大范圍的查詢，減輕單個方法的弱點。
可定制性:該系統可以很容易地適應使用不同的矢量存儲或基于關鍵字的檢索方法。
實現圖
下面的圖表說明了流程（最后一部分給出了實現代碼）：
HyDE
HyDE 是什么？
HyDE 是一種創新方法，可增強密集檢索，尤其是在零樣本場景中。其工作原理如下：
- 查詢擴展：HyDE 使用語言模型根據用戶的查詢生成假設答案或文檔。
- 增強嵌入：這些假設文檔被嵌入，從而創建了更豐富的語義搜索空間。
- 相似性搜索：嵌入用于查找數據庫中最相關的實際文檔。
- 知情生成：檢索到的文檔和原始查詢用于生成最終響應。
實現圖
下面的圖表說明了 HyDE 流程：
RAG-Fusion
什么是 RAG-Fusion？
RAG-Fusion 是一種先進的技術，它將檢索增強生成 (RAG) 與互易秩融合 (RRF) 相結合，以提高檢索信息的質量和相關性。其工作原理如下：
- 查詢擴展：利用原始查詢生成多個相關查詢，為用戶的問題提供不同的視角。
- 多次檢索：每個生成的查詢都用于從數據庫中檢索相關文檔。
- 倒數秩融合：使用 RRF 算法對檢索到的文檔進行重新排序，該算法結合了多次檢索嘗試的排名。
- 增強 RAG：重新排序的文檔以及原始和生成的查詢用于生成最終響應。
與傳統 RAG 相比，這種方法有助于捕捉更廣泛的背景和潛在的更多相關信息。
實現圖
下面是說明 RAG-Fusion 工作流程的圖表：
對RAG技術感興趣，可以通過這本書全面學習。據了解這是目前第一本關于rag的書籍，很不錯：
Fusion retrieval實戰
加載依賴
import os
import sys
from dotenv import load_dotenv
from langchain.docstore.document import Document
from typing import List
from rank_bm25 import BM25Okapi
import numpy as npbm25召回
def create_bm25_index(documents: List[Document]) -> BM25Okapi:
"""
Create a BM25 index from the given documents.
BM25 (Best Matching 25) is a ranking function used in information retrieval.
It's based on the probabilistic retrieval framework and is an improvement over TF-IDF.
Args:
documents (List[Document]): List of documents to index.
Returns:
BM25Okapi: An index that can be used for BM25 scoring.
"""
# Tokenize each document by splitting on whitespace
# This is a simple approach and could be improved with more sophisticated tokenization
tokenized_docs = [doc.page_content.split() for doc in documents]
return BM25Okapi(tokenized_docs)混合召回
def fusion_retrieval(vectorstore, bm25, query: str, k: int = 5, alpha: float = 0.5) -> List[Document]:
"""
Perform fusion retrieval combining keyword-based (BM25) and vector-based search.
Args:
vectorstore (VectorStore): The vectorstore containing the documents.
bm25 (BM25Okapi): Pre-computed BM25 index.
query (str): The query string.
k (int): The number of documents to retrieve.
alpha (float): The weight for vector search scores (1-alpha will be the weight for BM25 scores).
Returns:
List[Document]: The top k documents based on the combined scores.
"""
# Step 1: Get all documents from the vectorstore
all_docs = vectorstore.similarity_search("", k=vectorstore.index.ntotal)
# Step 2: Perform BM25 search
bm25_scores = bm25.get_scores(query.split())
# Step 3: Perform vector search
vector_results = vectorstore.similarity_search_with_score(query, k=len(all_docs))
# Step 4: Normalize scores
vector_scores = np.array([score for _, score in vector_results])
vector_scores = 1 - (vector_scores - np.min(vector_scores)) / (np.max(vector_scores) - np.min(vector_scores))
bm25_scores = (bm25_scores - np.min(bm25_scores)) / (np.max(bm25_scores) - np.min(bm25_scores))
# Step 5: Combine scores
combined_scores = alpha * vector_scores + (1 - alpha) * bm25_scores
# Step 6: Rank documents
sorted_indices = np.argsort(combined_scores)[::-1]
# Step 7: Return top k documents
return [all_docs[i] for i in sorted_indices[:k]]本文轉載自公眾號哎呀AIYA
原文鏈接：??https://mp.weixin.qq.com/s/oJkvdVQ67NafhGa6h2noZA??
