撰稿 | 言征

出品 | 51CTO技術棧（微信號：blog51cto）

谷歌最近發布的Gemini 1.5具有1M的上下文長度窗口，引發了一場關于“RAG（檢索增強生成）是否仍然重要”的新辯論。

眾所周知，LLM面臨的最大問題之一就是幻覺。為了應對這一挑戰，市面上有兩種解決方案，一種涉及增加上下文窗口，另一種就是使用RAG。

最近，一些開發人員一直在試驗Gemini 1.5。沃頓商學院教授Ethan Mollick在X上寫道：“我上傳了《了不起的蓋茨比》，其中有兩處改動（提到了一部‘盒子里的iPhone’和一架‘激光割草機’）。Gemini發現了這兩處問題（又找到了一件東西）。Claude也做到了，但產生了幻覺。而帶有RAG的GPT4卻失靈了。”

Gemini的測試結果

Claude的測試結果

RAG + GPT4

另一位X用戶Mckay Wrigley將一整本生物學教科書輸入Gemini 1.5 Pro，其中包括491002個令牌。他問了三個非常具體的問題，每個問題的答案都是100%正確的。 

Cognosys聯合創始人兼首席執行官Sully Omar寫道：“Gemini 1.5 Pro是一款被嚴重低估的軟件。我直接從GitHub上傳了整個代碼庫，以及所有問題，包括Vercel AI SDK。它不僅能夠理解代碼庫，還發現了最緊迫的問題并實施了修復。它幾乎革新改變一切?！?/p>

上面的三個例子證明，Gemini 1.5憑借其廣泛的上下文窗口，成功地檢索了文檔中的關鍵信息。

1、Gemini1.5性能超越了于ChatGPT和Claud, 上下文窗口遙遙領先

具體來講，之所以谷歌的Gemini 1.5這個新模型的性能優于ChatGPT和Claude，一個顯著的原因是擁有100萬個令牌上下文窗口，這是自然處理模型中有史以來最大的。相比之下，GPT-4 Turbo具有128K上下文窗口，而Claude 2.1具有200K上下文窗口。 

部分受邀的開發者和企業客戶可以通過AI Studio和Vertex AI在私人預覽中，在多達100萬個令牌的上下文窗口中進行嘗試。 它可以一次性處理大量信息，包括1小時的視頻、11小時的音頻、超過30000行代碼或超過700000字的代碼庫。在他們的研究中，谷歌還成功測試了多達1000萬個令牌。

圖片

該博客由谷歌首席執行官桑達爾·皮查伊和谷歌DeepMind首席執行官德米斯·哈薩比斯共同撰寫，并將其與ChatGPT和Claude等現有模型進行了比較。 

2、蘋果和橙子的比較

然而，上面的這三個例子并不能說明RAG的局限性。

RAG和上下文窗口之間的方案有哪些區別？上下文窗口將模型限制為給定文本范圍內的信息，而RAG將模型的功能擴展到外部來源，極大地拓寬了可訪問信息的范圍。

對于互聯網上相關的炒作報道，谷歌DeepMind研究和深度學習團隊負責人Oriol Vinyals表達了他的觀點，他說：“RAG（檢索增強生成）還沒有完成，盡管我們現在可以在上下文中處理100萬或更多的令牌。事實上，RAG有一些很好的特性，可以增強（并通過）長上下文來增強。

他補充道：“RAG允許您查找相關信息，但由于壓縮，模型訪問信息的方式可能過于受限。長上下文可能有助于彌合這一差距，類似于現代CPU中L1/L2緩存和主存儲器的協同工作方式。”

圖片

更大的上下文窗口允許LLM考慮更多的文本，從而生成更準確、連貫的響應，尤其是對于復雜和長句。然而，這并不意味著模型不會產生幻覺。 

根據斯坦福大學、加州大學伯克利分校和Samaya AI的研究人員發表的一篇題為《中部低谷：語言模型如何使用長上下文》的論文，LLM在文檔的開頭和結尾都表現出很高的信息檢索準確性。然而，這種精度在中間會下降，尤其是隨著輸入處理的增加。

圖片

3、超長上下文窗口殺不死RAG

“過去幾天里，我看到的最糟糕的論調是，像Gemini 1.5這樣的長上下文模型將取代RAG，”DAIR.AI的聯合創始人Elvis Saravia寫道。他解釋說，長上下文LLM在處理靜態信息（如書籍、視頻錄制、PDF等）方面表現出色，但它們尚未在高度演化的信息和知識上進行實戰測試。

他進一步補充說，為了解決這類問題，人們可能會將RAG和長上下文LLM結合起來，構建一個健壯的系統，該系統可以有效、高效地檢索和執行大規模的關鍵歷史信息分析。

“我們將在解決一些挑戰方面取得進展，例如‘中部低谷’和處理更復雜的結構化和動態數據，但我們仍然還有很長的路要走，”他說。Saravia補充說，不同的LLM家族將有助于解決不同類型的問題?！拔覀冃枰饤夁@種想法，即將有一種LLM能夠統治一切?！?/p>

毫無疑問，Gemini 1.5的性能優于Claude 2.1和GPT-4 Turbo，因為它可以吸收整個代碼庫，處理100多篇論文和各種文檔，但它肯定沒有殺死RAG。

參考鏈接：

https://analyticsindiamag.com/did-google-gemini-1-5-really-kill-rag/