作者 | Ashok Gorantla
整理 | 言征
出品 | 51CTO技術棧（微信號：blog51cto）
在人工智能（AI）的動態環境中，兩種開創性的技術——大型語言模型（LLM）和檢索增強生成（RAG）——在理解和生成類人文本方面脫穎而出。本文開始了LLM和RAG之間的比較之旅，揭示了它們的機制、應用以及它們為人工智能領域提供的獨特優勢。
一、大型語言模型（LLM）：基礎與應用
LLM，如GPT（Generative Pre-trained Transformer），憑借其在廣泛的主題中生成連貫和上下文相關文本的能力，已經徹底改變了人工智能場景。LLM的核心是依靠大量的文本數據和復雜的神經網絡架構，從他們接受過訓練的文本內容中學習語言模式、語法和知識。
LLM的優勢在于它們的泛化能力：它們可以在沒有特定任務訓練的情況下執行各種與語言相關的任務。這包括翻譯語言、回答問題，甚至寫文章。然而，LLM并非沒有挑戰。他們有時會產生聽起來合理但不正確或無意義的答案，這種現象被稱為“幻覺”。此外，他們的輸出質量在很大程度上取決于他們訓練數據的質量和廣度。
核心方面規模：LLM的標志是其龐大的參數數量，達到數十億，涵蓋了廣泛的語言范圍。訓練制度：他們對不同的文本數據進行預培訓，隨后針對量身定制的任務進行微調，深入理解語言的細微差別。實用范圍：LLM可以在各個方面使用，從幫助內容創建到促進語言翻譯。
示例：使用LLM生成文本
為了進行說明，請考慮以下使用LLM生成文本示例的Python代碼片段：
from transformers import GPT2Tokenizer, GPT2LMHeadModel
# Input
prompt = "How long have Australia held on to the Ashes?"
# Encode the inputs with GPT2 Tokenizer
tokenizer = GPT2Tokenizer.from_pretrained('gpt2')
inputs = tokenizer.encode(prompt, return_tensors='pt') ## using pyTorch ('tf' to use TensorFlow)
# Generate outputs with gpt2 Model
model = GPT2LMHeadModel.from_pretrained('gpt2')
outputs = model.generate(inputs, max_length=25)
# Decode and print the result
result = tokenizer.decode(outputs[0], skip_special_tokens=True)
print("Generated text:", result)這段代碼使用GPT-2（一種流行的LLM）初始化文本生成管道，并根據給定的提示生成文本。
二、檢索增強生成（RAG）：綜述和使用案例
RAG通過將GPT等模型的生成能力與檢索機制相結合，引入了一種新的方法。該機制實時搜索文本數據庫（如維基百科），以找到可用于通知模型響應的相關信息。這種檢索和生成的結合使RAG能夠產生不僅與上下文相關，而且基于事實信息的答案。
與傳統LLM相比，RAG的主要優勢之一是能夠通過參考最新來源提供更準確和具體的信息。這使得RAG對于信息的準確性和及時性至關重要的應用程序特別有用，例如在新聞報道或學術研究援助中。
然而，對外部數據庫的依賴意味著，如果數據庫不全面或檢索過程效率低下，RAG的性能可能會受到影響。此外，將檢索機制集成到生成過程中會增加模型的復雜性，可能會增加所需的計算資源。
Core Aspects核心方面混合性質：RAG模型首先檢索相關文檔，然后利用此上下文進行知情生成。動態知識訪問：與LLM不同，RAG模型可以利用最新或特定領域的數據，提供更強的通用性。應用領域：RAG在需要外部知識的場景中大放異彩，如深度問答和事實內容生成。
示例：為信息檢索實現RAG
以下是如何實現用于檢索和生成文本的基本RAG系統的簡化示例：
from transformers import RagTokenizer, RagRetriever, RagSequenceForGeneration
# A sample query to ask the model
query = "How long have Australia held on to the Ashes?"
tokenizer = RagTokenizer.from_pretrained("facebook/rag-sequence-nq") ## Get the tokenizer from the pretrained model
tokenized_text = tokenizer(query, return_tensors='pt', max_length=100, truncatinotallow=True) ## Encode/Tokenize the query
# Find results with RAG-Sequence model (uncased model) using wiki_dpr dataset
retriever = RagRetriever.from_pretrained("facebook/rag-sequence-nq", index_name="exact", use_dummy_dataset=True) ## Uses a pretrained DPR dataset (wiki_dpr) https://huggingface.co/datasets/wiki_dpr
model = RagSequenceForGeneration.from_pretrained("facebook/rag-sequence-nq", retriever=retriever)
model_generated_tokens = model.generate(input_ids=tokenized_text["input_ids"], max_new_tokens=1000) ## Find the relavant information from the dataset (tokens)
print(tokenizer.batch_decode(model_generated_tokens, skip_special_tokens=True)[0]) ## Decode the data to find the answer該代碼利用Facebook的RAG模型來回答查詢，首先對輸入進行標記，然后根據實時檢索到的信息生成響應。
三、LLM vs RAG
LLM和RAG之間的選擇取決于特定的任務要求。以下是它們的組合方式：
1.知識可訪問性
LLM依賴于其預訓練語料庫，可能導致信息過時。RAG具有檢索功能，可確保訪問最新的數據。
2.實施復雜性
RAG模型由于其雙步驟性質，呈現出比LLM更高的復雜性和需要更多的資源。
3.靈活性和應用
這兩種型號都具有廣泛的應用潛力。LLM是各種NLP任務的堅實基礎，而RAG模型在即時訪問外部詳細數據至關重要的情況下表現出色。
四、結論：駕馭LLM和RAG的取舍
LLM和RAG都代表著人工智能理解和生成類人文本能力的重大進步。在LLM和RAG模型之間進行選擇需要權衡NLP項目的獨特需求。LLM提供了多功能性和通用性，使其適用于廣泛的應用程序和各種語言任務。相比之下，RAG的優勢在于其提供準確、信息豐富的響應的能力，在知識密集型任務中尤其有價值，非常適合于最新或特定詳細信息的整合至關重要的情況。
隨著人工智能的不斷發展，LLM和RAG的比較分析強調了為正確的任務選擇正確工具的重要性。鼓勵開發人員和研究人員在其特定需求的背景下權衡這些技術的優勢和局限性，旨在充分利用人工智能在創建智能響應和上下文感知應用程序方面的潛力。
參考鏈接：https://dzone.com/articles/a-comparative-exploration-of-llm-and-rag
