一篇綜述：RAG復(fù)雜Query的4種優(yōu)化方案 原創(chuàng)
Query Optmization
- 查詢優(yōu)化(Query Optmization)旨在提高LLMs理解和回答查詢的效率和質(zhì)量，尤其是在涉及復(fù)雜查詢的檢索增強(qiáng)生成（Retrieval-Augmented Generation, RAG）場景中。
- RAG通過動(dòng)態(tài)檢索和利用最新相關(guān)信息來彌補(bǔ)LLMs的局限性，從而提供一種成本效益高的解決方案，以應(yīng)對LLMs可能產(chǎn)生看似合理但不準(zhǔn)確回答的挑戰(zhàn)。
四種主要的查詢優(yōu)化方法介紹
- 擴(kuò)展（Expansion）
通過內(nèi)部擴(kuò)展和外部擴(kuò)展兩種方式，增加查詢的覆蓋范圍和上下文信息。
內(nèi)部擴(kuò)展主要針對時(shí)間敏感性較低的查詢，利用LLMs生成的偽文檔進(jìn)行擴(kuò)展；
外部擴(kuò)展則針對時(shí)間敏感性較高的查詢，從外部知識源檢索相關(guān)信息進(jìn)行擴(kuò)展。
例如：查詢“2024年夏季奧運(yùn)會(huì)乒乓球男單冠軍的生日”
內(nèi)部擴(kuò)展可以通過LLMs生成與乒乓球冠軍相關(guān)的偽文檔
外部擴(kuò)展則可以從知識庫中檢索冠軍的生日信息。
- 分解（Decomposition）
- 將復(fù)雜查詢拆分為多個(gè)簡單子查詢，分別進(jìn)行檢索和回答。
- 對于需要從多個(gè)來源獲取事實(shí)的查詢，可以將其分解為多個(gè)直接子查詢，分別檢索和回答，然后整合結(jié)果。
- 例如：查詢“中國在2024年夏季奧運(yùn)會(huì)中哪個(gè)項(xiàng)目獲得的金牌最多”
- 將其分解為兩個(gè)子查詢：“中國在2024年夏季奧運(yùn)會(huì)中乒乓球項(xiàng)目獲得的金牌數(shù)”和“中國在2024年夏季奧運(yùn)會(huì)中羽毛球項(xiàng)目獲得的金牌數(shù)”，然后分別檢索和比較結(jié)果。
- 消歧（Disambiguation）
- 識別和消除查詢中的歧義，確保查詢的明確性。
- 這包括對模糊查詢進(jìn)行澄清和對多輪對話中的查詢進(jìn)行重寫，以消除歧義。
- 例如：模糊查詢“2024年夏季奧運(yùn)會(huì)乒乓球冠軍”
- 將其澄清為兩個(gè)明確的子查詢：“2024年夏季奧運(yùn)會(huì)乒乓球女單冠軍”和“2024年夏季奧運(yùn)會(huì)乒乓球男單冠軍”。
- 抽象（Abstraction）
- 通過抽象查詢的核心概念和意圖，提供更廣泛的視角，從而獲得更全面和多樣化的結(jié)果。
- 將具體的查詢轉(zhuǎn)化為更抽象的概念，以便更好地理解和回答復(fù)雜的多跳查詢。
- 例如：查詢“中國舉辦過幾次奧運(yùn)會(huì)”
- 將其抽象為“奧運(yùn)會(huì)舉辦歷史”，從而獲得更全面的信息。
四種查詢優(yōu)化的操作方法介紹
擴(kuò)展（Expansion）
- 內(nèi)部擴(kuò)展：
步驟一：分析原始查詢，識別關(guān)鍵概念。
步驟二：利用LLMs生成與關(guān)鍵概念相關(guān)的偽文檔。
步驟三：將生成的偽文檔與原始查詢結(jié)合，形成擴(kuò)展后的查詢。
- 擴(kuò)展后的查詢能夠提高檢索結(jié)果的相關(guān)性，減少事實(shí)錯(cuò)誤內(nèi)容的產(chǎn)生。
- 外部擴(kuò)展：
步驟一：確定查詢的時(shí)間敏感性和需要的外部信息類型。
步驟二：從外部知識源（如知識庫或網(wǎng)絡(luò)）檢索相關(guān)信息。
步驟三：將檢索到的信息與原始查詢結(jié)合，形成擴(kuò)展后的查詢。
- 外部擴(kuò)展能夠顯著提高對時(shí)間敏感性高的查詢的準(zhǔn)確性和全面性。
分解（Decomposition）
步驟一：分析復(fù)雜查詢的結(jié)構(gòu)和需求，確定需要分解的子查詢數(shù)量和類型。
步驟二：將復(fù)雜查詢分解為多個(gè)簡單子查詢，每個(gè)子查詢針對一個(gè)具體的問題或事實(shí)。
步驟三：分別對每個(gè)子查詢進(jìn)行檢索和回答，獲取相應(yīng)的結(jié)果。
步驟四：將各個(gè)子查詢的結(jié)果進(jìn)行整合，形成對原始復(fù)雜查詢的全面回答。
- 分解后的子查詢能夠更準(zhǔn)確地檢索到相關(guān)信息，并且整合后的結(jié)果能夠更好地回答原始查詢。
消歧（Disambiguation）
步驟一：識別查詢中的歧義元素，確定可能的多種解釋。
步驟二：根據(jù)上下文信息和用戶意圖，選擇最合適的解釋。
步驟三：對查詢進(jìn)行重寫或澄清，確保其明確性和準(zhǔn)確性。
消歧后的查詢能夠更準(zhǔn)確地檢索到相關(guān)的信息，并且生成的回答更符合用戶的真實(shí)需求。
抽象（Abstraction）
步驟一：分析查詢的核心概念和意圖，識別其抽象層面。
步驟二：將查詢轉(zhuǎn)化為更抽象的概念或主題，形成抽象后的查詢。
步驟三：根據(jù)抽象后的查詢進(jìn)行檢索和回答，獲取更廣泛和多樣化的結(jié)果。
抽象后的查詢能夠提高檢索結(jié)果的多樣性和全面性，更好地滿足復(fù)雜多跳查詢的需求。
https://arxiv.org/pdf/2412.17558
本文轉(zhuǎn)載自??CourseAI??，作者： CourseAI
