長(zhǎng)上下文 還是 RAG？ Google:我全都要！
嘿，大家好！這里是一個(gè)專注于AI智能體的頻道！
最近，深度學(xué)習(xí)和人工智能領(lǐng)域的大牛們?cè)赼rXiv上發(fā)表了一篇有趣的研究，標(biāo)題挺長(zhǎng)的：《檢索增強(qiáng)生成或長(zhǎng)上下文大型語(yǔ)言模型？全面研究和混合方法》。
今天分享一篇由Google DeepMind和密歇根大學(xué)的研究人員發(fā)布的一個(gè)長(zhǎng)上下文和RAG混合的方法。
Retrieval Augmented Generation or Long-Context LLMs? AComprehensive Study and Hybrid Approach
檢索增強(qiáng)生成（RAG）一直是大型語(yǔ)言模型（LLMs）高效處理超長(zhǎng)文本的強(qiáng)大工具。然而，像Gemini-1.5和GPT-4這樣的最新LLM展現(xiàn)了直接理解長(zhǎng)文本的卓越能力。我們對(duì)RAG和長(zhǎng)文本（LC）LLM進(jìn)行了全面的比較，旨在利用兩者的優(yōu)點(diǎn)。我們使用三種最新的LLM，在各種公開(kāi)數(shù)據(jù)集上對(duì)RAG和LC進(jìn)行基準(zhǔn)測(cè)試。結(jié)果顯示，當(dāng)資源充足時(shí)，LC在平均性能上始終優(yōu)于RAG。然而，RAG顯著較低的成本仍然是一個(gè)明顯的優(yōu)勢(shì)。基于這一觀察，我們提出了Self-Route，這是一種簡(jiǎn)單但有效的方法，根據(jù)模型的自我反思將查詢路由到RAG或LC。Self-Route顯著降低了計(jì)算成本，同時(shí)保持了與LC相當(dāng)?shù)男阅?/strong>。我們的研究為使用RAG和LC的長(zhǎng)文本應(yīng)用提供了指導(dǎo)。
首先，讓我們聊聊RAG。這種方法讓LLM通過(guò)檢索相關(guān)信息來(lái)生成回答，就像是給模型加了個(gè)外掛，讓它能夠訪問(wèn)海量信息，而且成本很低。但是，隨著LLM的發(fā)展，像Gemini1.5和GPT-4這樣的模型已經(jīng)能夠直接理解超長(zhǎng)文本了。這就引出了一個(gè)問(wèn)題：我們是否還需要RAG？
研究人員決定做個(gè)全面的比較。他們用最新的三個(gè)LLM在不同的公共數(shù)據(jù)集上進(jìn)行了基準(zhǔn)測(cè)試。結(jié)果發(fā)現(xiàn)，只要資源足夠，LC在幾乎所有情況下都比RAG表現(xiàn)得更好。但是，RAG的成本優(yōu)勢(shì)依然明顯。這就是說(shuō)，雖然LC在理解長(zhǎng)文本上更勝一籌，但RAG在成本上更具吸引力。
基于這個(gè)問(wèn)題，研究人員提出了一種新方法，叫做SELF-ROUTE。這種方法根據(jù)模型的自我評(píng)估來(lái)決定是使用RAG還是LC。SELF-ROUTE在保持與LC相當(dāng)?shù)男阅艿耐瑫r(shí)，顯著降低了計(jì)算成本。例如，在Gemini-1.5-Pro上，成本降低了65%，在GPT-4上降低了39%。
研究人員通過(guò)深入分析了RAG與LC的預(yù)測(cè)差異，發(fā)現(xiàn)RAG和LC在很多情況下會(huì)給出相同的預(yù)測(cè)，無(wú)論是正確的還是錯(cuò)誤的。事實(shí)上，對(duì)于 63% 的查詢，模型預(yù)測(cè)是完全相同的；對(duì)于 70% 的查詢，分?jǐn)?shù)差異小于 10（絕對(duì)值）。有趣的是，相同的預(yù)測(cè)不一定正確，如代表平均分?jǐn)?shù)的不同顏色所示，即(S_RAG + S_LC) / 2。這一觀察結(jié)果表明，RAG 和 LC 不僅傾向于做出相同的正確預(yù)測(cè)，而且傾向于做出類似的錯(cuò)誤。
因此，我們可以在大多數(shù)查詢中利用 RAG，為一小部分真正擅長(zhǎng)的查詢保留計(jì)算成本更高的 LC。通過(guò)這樣做，RAG 可以在不犧牲整體性能的情況下顯著降低計(jì)算成本。
SELF-ROUTE也比較簡(jiǎn)單，其實(shí)就倆步驟：先是RAG加Route這一步，然后是長(zhǎng)上下文預(yù)測(cè)那一步。前一步里，我們把查詢和檢索到的內(nèi)容塊兒給LLM，然后讓它預(yù)測(cè)這查詢能不能回答，如果能，就生成答案。這跟咱們平時(shí)用的RAG差不多，但有個(gè)關(guān)鍵的不同點(diǎn)：LLM現(xiàn)在有個(gè)選擇權(quán)，如果覺(jué)得根據(jù)提供的內(nèi)容回答不了問(wèn)題，它可以選擇不回答，提示詞是“Write unanswerable if the query can not be answered based on the provided text”。
對(duì)于那些LLM覺(jué)得能回答的查詢，我們就直接接受RAG的預(yù)測(cè)作為最終答案。對(duì)于那些LLM覺(jué)得回答不了的，咱們就進(jìn)入第二步，把完整的上下文信息給長(zhǎng)上下文LLM，讓它來(lái)得出最終預(yù)測(cè)，也就是LC。評(píng)測(cè)發(fā)現(xiàn)，雖然RAG得分穩(wěn)定低于LC，但是SELF-ROUTE可以用更少的tokens，獲得接近甚至更好的效果
