檢索生成(RAG) vs 長文本大模型：實際應用中如何選擇？原創

發布于 2024-7-3 10:47

瀏覽

0收藏

編者按：大模型的上下文理解能力直接影響到 LLMs 在復雜任務和長對話中的表現。本期內容聚焦于兩種主流技術：長上下文(Large Context Windows)和檢索增強生成(RAG)。這兩種技術各有何優勢？在實際應用中，我們又該如何權衡選擇？
文章不僅詳細闡述了這兩種技術的工作原理，還深入分析了它們在效率、準確性和實施成本等方面的差異。文章特別提到了在執行重復性任務時使用 Context Caching 優化長上下文的優勢，然而，緩存策略的效果很大程度上取決于提示詞的可預測性。如果用戶輸入變化無常，緩存的效果可能會大打折扣。
本文可供各位讀者進行技術選型時參考，期待未來看到更多提升 LLMs 上下文理解能力的創新方案。

作者 | Priyanka Vergadia

編譯 | 岳揚

大語言模型（Large Language Models ，LLMs）技術正飛速發展，尤其是模型在生成文本時能夠處理的上下文信息量極速提升。盡管 LLMs 在文本的處理和生成等方面表現出色，但它們卻面臨一個固有的挑戰：難以捕捉信息背景全貌，尤其是在應對冗長對話或涉及多重細節的復雜任務時。為了解決這一問題，研究人員引入了長上下文（Large context windows）和檢索增強生成（Retrieval-Augmented Generation ，RAG）兩種技術。這兩種技術各有千秋，選擇哪種取決于具體的應用需求。下面，我們將探討為何提升模型的上下文理解能力如此重要。

上下文（Context）的重要性：

讓我們設想一下日常生活中的對話場景。要理解對方此刻的話語，我們需要回顧之前的對話內容。如若大語言模型（LLMs）缺乏必要的上下文理解能力，在這方面可能會“頭疼”。本文認為上下文非常重要，有如下幾點理由：

能夠保持對話的連貫性：在日常對話交談中，如果有人突然提到“那只狗??”，我們能立即明白他指的是之前討論過的那只狗??，而不是憑空出現的一只新狗。長上下文（Large context windows）或檢索增強生成（RAG）技術能夠幫助 LLMs 在交互過程中保持這種語義連貫性。

理解復雜信息及其復雜關系：某些任務需要理解信息之間錯綜復雜的關系。比如，要準確總結一篇學術論文，就需要理解研究方法與實驗結果之間的聯系。長上下文或 RAG 使 LLMs 能夠全面考慮所有相關內容，從而更深入地把握整體信息。

減少"幻覺"現象：LLMs 在缺乏足夠的上下文信息時，可能會自行編造數據或內容來填補認知空白，導致輸出錯誤荒謬或毫無意義的信息。這種現象在人工智能領域被稱為"幻覺（Hallucinations）"。長上下文或 RAG 技術通過提供更多的背景信息，能夠有效地將 LLMs 的生成內容錨定在現實基礎之上，使其生成內容更符合實際情況。

檢索生成(RAG) vs 長文本大模型：實際應用中如何選擇？-AI.x社區

01 長上下文（Large Context Windows）

長上下文讓大語言模型（LLMs）在生成響應前能處理更多的文本信息。這說明 LLMs 可以一次性掌握大量的數據和信息，從而更好地把握全局，生成的模型響應也更能貼合對話主題。這對于那些需要深度理解對話歷史或背景信息的任務尤其有用。不過，處理海量文本會帶來較高的計算成本，同時也會影響處理速度。

02 利用緩存優化長上下文技術的好處

在處理長上下文帶來的計算負擔時，采用緩存策略是一種有效的成本優化途徑。緩存機制會保存已處理過的上下文信息，以便在遇到類似提示詞時能迅速調用，這一舉措能夠大幅縮短模型響應時間，尤其在執行重復性工作時效果顯著。

實例解析：設想一個專門用于總結學術論文的大語言模型。借助緩存功能，LLMs 能夠存儲之前分析過的論文段落（如引言、實驗方法等）。當接收到一篇新論文，且其結構與以往處理過的論文類似時，模型便能直接調用緩存中的相關上下文，僅需集中精力分析創新部分的內容（如實驗結果和結論）。

不過，啟用緩存也會給系統引入額外的復雜度。決策者必須權衡哪些信息值得緩存以及緩存期多長時間。此外，緩存是否有效直接取決于提示詞的可預測性（predictability） 。若用戶的提示詞內容變化無常，緩存的效果可能會大打折扣。

03 RAG：檢索增強生成技術

RAG 技術能夠顯著提升大語言模型（如 GPT-3 等）的準確度與可靠性。其核心在于將 LLMs 與外部知識庫（如維基百科或企業內部文檔）連接，使得模型在生成響應前，能夠先從這些知識庫中檢索并使用最相關的信息。相較于單純依賴緩存長上下文的方法，RAG 的優勢如下：

效率提升：RAG 只檢索最相關的關鍵信息，因此速度更快，成本效益更高。
準確性增強：聚焦于最相關的信息有效降低了大模型出現幻覺的風險，確保了敘述的事實更為準確。

然而，RAG 技術的引入雖開辟了一條新路徑，卻也伴隨著較高的前期工作成本。RAG 系統的搭建與運維，需依托于一套復雜的檢索機制，該機制依賴向量搜索（vector search）及嵌入（embeddings）技術，以確保 LLM 能夠高效獲取最為契合的信息資源。

04 RAG 對比長上下文：權衡與選擇

長上下文（Large context windows）賦予 LLMs 直接處理海量歷史信息的能力，尤其適用于需要進行深度分析的復雜任務。然而，這種全面覆蓋的方式計算成本較高，執行效率相對低下。RAG 則另辟蹊徑，利用檢索系統，從龐大的知識庫中精挑細選出最相關的信息片段供給 LLM 使用。此舉不僅能夠提速增效，還可以大幅節省成本，并有效降低出錯的風險。但需要注意的是，RAG 的高效運行需仰仗一套完善的數據檢索體系，且初期部署較為繁瑣。綜上所述，這個問題的最優解應基于決策者對深度分析能力、系統運行效率的要求。

決策指南概覽：