檢索增強生成被認為是使AI模型改善數據、減輕幻覺的最有前途的技術之一。

譯自From RAG to Riches: Dispelling AI Hallucinations，作者 Rahul Pradhan 擁有超過16年經驗，是 Couchbase 的產品和戰略副總裁。

Generative AI（GenAI）和大語言模型（LLM）毫無疑問是2023年最熱門的科技，而這種勢頭在2024年及以后也不會減緩。企業將繼續投資數十億美元用于這些技術，富裕的組織將沉溺于并購狂潮，以確保他們處于創新的前沿。

作為一種商業工具，GenAI完全合乎邏輯 —— 它可以使員工更加高效，增加理解力和技能，并開拓新的機會。組織對人工智能的依賴增加的危險在于你需要相信它做出正確的決策的能力。沒有這一點，組織可能會花費大部分人工智能投資來對每個提示和答案進行雙重甚至三重檢查，以確保它們是可信的。此外，人工智能很容易陷入幻覺，導致混淆組織或使它們完全走上錯誤的道路。

宏偉的幻覺

LLM是概率引擎，分析輸入和可用數據，然后計算在回復中下一個單詞（或單詞序列）應該是什么。這是一種雙刃劍的方法。它使組織能夠用自然、易懂和語法正確的語言回答可能涉及任何主題的查詢。

然而，歸根結底，大語言模型（LLMs）是在打賭。如果它們的學養 —— 以及它們學習和使用的數據集 —— 不能匹配一個查詢，那么它們唯一的選擇就是虛張聲勢。答案看起來準確，而且信心十足，但它并不基于現實或任何可以添加上下文的學到的知識。對于需要根據事實證據做出業務決策并遵循最佳實踐的組織而言，這極大地降低了人工智能的可信度，從而降低了其有效性。

幕后

人工智能幻覺是由各種因素引起的，但歸根結底，問題在于，雖然一個人擁有一生的知識和經驗可供借鑒，但人工智能模型只能像它們的數據集一樣聰明。

例如，導致人工智能幻覺的最常見挑戰之一是數據稀疏性。如果數據集存在缺失或不完整的值，人工智能將別無選擇，只能填補這些空缺。一個人將具有處理這一情況的上下文、判斷和批判性思維能力，但人工智能可能輕易得出不準確的結論。例如，即使它從未看過他的任何電影，大多數人都會認為湯姆·漢克斯是一位優秀、甚至是偉大的演員。然而，只有少數表演在其數據集中的人工智能可能會得出相反的結論。

與缺失數據相關的是不正確的數據。導致信息被錯誤分類或標記的低質量數據，或者人工智能（AI）從不可靠的來源學習，都可能導致AI無意中傳播錯誤信息。這不僅僅是分享單一不準確的事實的情況；例如，聲稱詹姆斯·韋伯太空望遠鏡在發射前17年拍攝照片。無法交叉參考相關數據或理解偏見會導致越來越不準確的結論 —— 比如使用不具代表性的醫療數據來預測、檢測和治療皮膚癌。

最后，還有AI模型的培訓方式的問題。如果訓練數據中沒有足夠的樣本使模型能夠概括，如果存在太多不相關的“噪音”數據，如果模型在單一樣本數據集上訓練時間過長，或者如果模型過于復雜以至于從不相關和相關數據中學到，結果就是過擬合。AI模型在其訓練樣本上運行良好，但在真實世界中具有極差的模式識別能力，導致不準確和錯誤。

打破魔咒

消除人工智能的幻覺是確保其充分發揮潛力的關鍵。解決數據稀疏性、質量和過擬合是關鍵的第一步。與任何其他業務功能或員工一樣，企業不能指望人工智能在沒有正確信息和培訓的情況下有效運行。微調或重新訓練模型也有助于生成相關、準確的內容。問題在于，如果沒有持續的培訓，數據可能會過時。所有這些都可能意味著巨大的成本和延遲的投資回報。

提示工程是避免幻覺的另一種方法，并且迅速成為預期的人工智能技能之一。然而，這帶來了確保模型始終接收高度描述性提示和額外培訓投資的負擔。

跳出數據集的盒子

理想情況下，通過適當的幫助，人工智能模型應該能夠改進其數據并減輕幻覺。檢索增強生成（RAG）是實現這一目標最有前途的技術之一。通過根據需要從外部來源獲取數據，RAG人工智能框架為大語言模型提供了它們改進回應所需的重要上下文，關鍵的是，避免了幻覺。

為了幫助應用程序如虛擬助手、聊天機器人和其他內容創作者生成精確、相關的回應，組織需要確保檢索增強生成（RAG）能夠提供引用多個信息源和深刻理解上下文的能力。與任何人工智能應用一樣，這是一個信任的問題 —— 通過從相關、可靠且最新的來源提取信息，并為用戶提供對這些來源的訪問，RAG有助于消除人們對人工智能可靠性的疑慮。

迫切的是，RAG需要訪問實時數據，以確保所有信息盡可能當前、完整且準確。例如，在銷售旺季期間，任何旨在向用戶提供最佳、最個性化產品優惠的應用程序或聊天機器人，除非能夠根據每個用戶的個人資料和用戶會話上下文定制建議，否則將毫無價值。此外，它需要訪問實時數據以獲取價格的動態變化，以制定最佳的用戶優惠。畢竟，沒有人想要已經購買的商品的優惠，發現他們的推薦并不是在正確的時間以正確的價格購買正確的產品，或者因為其他地方提供的價格更低而支付過高的費用。

此外，檢索增強生成（RAG）應與操作數據存儲結合，以提高其效果。為了有效地查詢數據，數據需要存儲在高維數學向量中，使模型能夠使用數值向量而不是特定術語或語言進行搜索。然后，人工智能可以在正確的上下文中找到相關信息，而無需依賴于找到相同的術語。通過使用支持向量的高效存儲和搜索，并且可以將模型的查詢轉換為這些數值向量的數據庫，人工智能模型可以實時保持其理解的最新狀態：始終學習，始終適應，極大地降低了過時或不完整信息導致昂貴幻覺的機會。