在檢索增強生成 (RAG) 系統(tǒng)中，負責從外部知識庫中識別相關(guān)上下文的檢索器組件的性能與語言模型生成有效響應的性能同等重要，甚至更為重要。因此，一些改進 RAG 系統(tǒng)的努力將重點放在優(yōu)化檢索過程上也就不足為奇了。

本文從檢索角度介紹了一些提升 RAG 系統(tǒng)性能的常用方法。通過實施諸如重排序混合搜索、選擇性檢索和查詢轉(zhuǎn)換等高級檢索技術(shù)，RAG 系統(tǒng)能夠更好地應對上下文無關(guān)和信息過載等常見挑戰(zhàn)。每種策略都針對檢索過程的不同方面，以確保生成更準確、更相關(guān)的響應，并且它們都有助于縮小檢索數(shù)據(jù)的范圍，找到最相關(guān)、最高質(zhì)量的上下文片段，從而提高準確性和效率，尤其是在長上下文或?qū)I(yè) RAG 應用中。

常見的檢索優(yōu)化策略

在 RAG 系統(tǒng)中，廣泛實施的優(yōu)化檢索器性能的方法包括以下三種。

1.混合搜索和重新排名

混合搜索結(jié)合兩種檢索標準來獲取一組相關(guān)文檔或文檔塊。一種常見的方法是結(jié)合稀疏檢索和密集檢索。稀疏檢索使用基于關(guān)鍵詞的方法（例如 TF-IDF）來匹配精確詞條，這使得它能夠有效地進行精準詞條匹配。相比之下，密集檢索利用嵌入（文本的數(shù)值表示）來捕捉語義相似性，當精確詞條不同但含義相似時，這種方法非常理想。當這種混合搜索機制的目標是根據(jù)相關(guān)性優(yōu)化檢索到的文檔的排名時，我們會應用重排序來對文檔進行優(yōu)先排序，以更好地適應原始用戶查詢的意圖。

2.查詢轉(zhuǎn)換

查詢轉(zhuǎn)換包括調(diào)整或擴展查詢，以便將檢索到的文檔集納入更廣泛或更具體的范圍。例如，可以通過在原始查詢中合并術(shù)語的同義詞，或重新表述部分內(nèi)容來實現(xiàn)。查詢轉(zhuǎn)換可以提高捕獲高質(zhì)量上下文的幾率，從而幫助優(yōu)化檢索器的效率，尤其是在精確術(shù)語可能存在顯著差異的情況下。

3. 上下文相關(guān)性過濾

一旦檢索到相關(guān)文檔，這種簡單但通常有效的方法就會根據(jù)上下文元數(shù)據(jù)（例如日期和時間、地點和作者）對其進行過濾。這有助于根據(jù)用戶的上下文和意圖確定內(nèi)容的優(yōu)先級。

高級檢索優(yōu)化技術(shù)

以下三種技術(shù)是更專業(yè)的方法，需要額外的設(shè)置，但建議用于高風險 RAG 用例。

1. 針對具體案例的優(yōu)化

案例特定優(yōu)化的理念是針對特定領(lǐng)域（例如醫(yī)療、金融等）調(diào)整或定制檢索流程，并對其進行微調(diào)，以更好地捕捉目標領(lǐng)域的細微差別。一個具體解決方案是通過特定領(lǐng)域的權(quán)重和排名指標，根據(jù)特定術(shù)語或?qū)嶓w在目標領(lǐng)域內(nèi)的相關(guān)性對其進行優(yōu)先排序。另一種方法是使用特定領(lǐng)域的數(shù)據(jù)集來訓練或微調(diào)檢索器。

2. 具有反饋循環(huán)的主動學習

帶有反饋循環(huán)的主動學習是一種交互式方法，它結(jié)合用戶反饋，不斷調(diào)整和改進檢索結(jié)果，從而不斷提升模型的檢索準確率。與其他 RAG 檢索器優(yōu)化策略不同，該方法通過整合實時反饋來調(diào)整檢索過程，使其與用戶偏好或不斷變化的需求保持一致。

3.語義哈希

語義哈希專注于提高檢索效率，通過將文檔編碼為哈希碼（通常是緊湊的二進制向量），從而實現(xiàn)更快的基于相似度的檢索。當 RAG 效率至關(guān)重要時，語義哈希是一種首選解決方案，并且可以與上述其他專注于基于相關(guān)性的檢索結(jié)果質(zhì)量的策略結(jié)合使用。

小結(jié)

本文探討了六種旨在提升 RAG 系統(tǒng)檢索過程性能的策略。每種技術(shù)的復雜程度各不相同，并側(cè)重于不同的優(yōu)化方面。了解這些策略對于選擇適合您特定 RAG 實現(xiàn)的最佳方法（無論是單一技術(shù)還是多種技術(shù)的組合）至關(guān)重要。