一文教你玩轉(zhuǎn) RAG 大模型應(yīng)用開(kāi)發(fā)

作者：三笠 2025-05-30 01:00:00

RAG實(shí)現(xiàn)了“模型的智力”與“人類(lèi)知識(shí)寶庫(kù)”的有機(jī)結(jié)合，使得智能系統(tǒng)更加緊密地嵌入實(shí)際業(yè)務(wù)流程，為用戶(hù)提供始終符合時(shí)代、情境、專(zhuān)業(yè)要求的智慧服務(wù)。?

Part.1.RAG這么火，你會(huì)用嗎？

自從大模型技術(shù)走向市場(chǎng)以來(lái)，“幻覺(jué)”現(xiàn)象總是對(duì)用戶(hù)造成困擾，而RAG（Retrieval-Augmented Generation，檢索增強(qiáng)生成）技術(shù)正在成為解決這一難題的利器。國(guó)內(nèi)眾多科技大廠在實(shí)踐RAG技術(shù)時(shí)都取得了階段性的成果。

螞蟻集團(tuán)采用RAG技術(shù)，通過(guò)知識(shí)庫(kù)分層構(gòu)建、復(fù)雜文檔處理、混合搜索策略和總結(jié)模型優(yōu)化，答案獲取效率提高約20%。

阿里云通過(guò)外掛知識(shí)庫(kù)提供可靠知識(shí)，優(yōu)化知識(shí)檢索與答案生成流程，成功化解智能問(wèn)答面臨的幻覺(jué)、知識(shí)更新滯后、隱私數(shù)據(jù)泄露等挑戰(zhàn)。

嗶哩嗶哩運(yùn)用大模型升級(jí)智能客服系統(tǒng)，優(yōu)化RAG鏈路和檢索機(jī)制，構(gòu)建全面的領(lǐng)域知識(shí)庫(kù)，智能客服攔截率提升近30%。

字節(jié)跳動(dòng)充分發(fā)揮RAG和FineTuning（微調(diào)）兩種建設(shè)思路，利用大模型構(gòu)建答疑機(jī)器人，實(shí)現(xiàn)研發(fā)基建部門(mén)答疑值班。

RAG這么厲害，很多小伙伴擼起袖子就想一氣呵成地干好，但卻沒(méi)少碰壁，一是發(fā)現(xiàn)其所涵蓋的技術(shù)棧特別廣泛，二是實(shí)現(xiàn)過(guò)程中遇到技術(shù)難點(diǎn)后一籌莫展。難道要將AI所有的知識(shí)都學(xué)習(xí)一遍才能做好RAG嗎？

Part.2RAG的核心

RAG的核心功能，就是它可以訪(fǎng)問(wèn)一個(gè)外部知識(shí)庫(kù)或文檔集，從中檢索與當(dāng)前問(wèn)題相關(guān)的片段，將這些最新或特定領(lǐng)域的外部信息納入“思考過(guò)程”，然后再進(jìn)行回答生成。這使得大模型在回答問(wèn)題時(shí)，不必依賴(lài)于其在訓(xùn)練過(guò)程中“記住”的知識(shí)，以此有效降低“幻覺(jué)”。

RAG使大模型能夠“查閱資料”，將靜態(tài)的、受限于訓(xùn)練時(shí)間的語(yǔ)言模型轉(zhuǎn)變?yōu)槟軌騽?dòng)態(tài)獲取信息、實(shí)時(shí)擴(kuò)展知識(shí)的智能體。對(duì)大模型的“閉卷考試”瞬間變成了“開(kāi)卷考試”，這種變化對(duì)大模型應(yīng)用效果提升有著巨大潛力。

圖片

RAG的核心組件包括知識(shí)嵌入、檢索器和生成器。

知識(shí)嵌入（Knowledge Embedding）：將外部知識(shí)庫(kù)的內(nèi)容讀取并拆分成塊，通過(guò)嵌入模型將文本或其他形式的知識(shí)轉(zhuǎn)化為向量表示，使其能夠在高維語(yǔ)義空間中進(jìn)行比較。這些嵌入向量捕捉了句子或段落的深層語(yǔ)義信息，并被索引存儲(chǔ)在向量數(shù)據(jù)庫(kù)中，以支持高效檢索。

檢索器（Retriever）：負(fù)責(zé)從外部知識(shí)庫(kù)（向量表示的存儲(chǔ)）中查找與用戶(hù)輸入相關(guān)的信息。檢索器采用嵌入向量技術(shù)，通過(guò)計(jì)算語(yǔ)義相似性快速匹配相關(guān)文檔。常用的方法包括基于稀疏向量的BM25和基于密集向量的近似最近鄰檢索。

生成器（Generator）：利用檢索器返回的相關(guān)信息生成上下文相關(guān)的答案。生成器通常基于大模型，在內(nèi)容生成過(guò)程中整合檢索到的外部知識(shí)，確保生成的結(jié)果既流暢又可信。

為我們揭開(kāi)RAG奧秘的本書(shū)作者黃佳，是新加坡科研局首席研究員（Lead Researcher），前埃森哲新加坡公司資深顧問(wèn)。入行20多年來(lái)，他參與過(guò)政府部門(mén)、銀行、電商、能源等多領(lǐng)域大型項(xiàng)目，積累了極為豐富的人工智能和大數(shù)據(jù)項(xiàng)目實(shí)戰(zhàn)經(jīng)驗(yàn)。

Part.3.跟著咖哥，全盤(pán)掌握RAG

RAG是大模型時(shí)代應(yīng)用開(kāi)發(fā)的一項(xiàng)偉大創(chuàng)新，彌補(bǔ)了單純靠參數(shù)記憶知識(shí)的不足，使大模型在應(yīng)對(duì)不斷變化或高度專(zhuān)業(yè)化的問(wèn)題時(shí)具有更強(qiáng)的適應(yīng)性和靈活性。本書(shū)從RAG系統(tǒng)構(gòu)建出發(fā)，逐步深入系統(tǒng)優(yōu)化、評(píng)估以及復(fù)雜范式的探究，下面分為四個(gè)部分逐一詳解。

RAG系統(tǒng)構(gòu)建

這部分是RAG技術(shù)落地的第一步。在數(shù)據(jù)導(dǎo)入環(huán)節(jié)，書(shū)中詳細(xì)講解了如何讀取與解析多樣化的文件格式，包括TXT文本、CSV文件、網(wǎng)頁(yè)文檔、Markdown文件、PDF文件等，還有借助Unstructured工具從圖片中提取文字并導(dǎo)入。

圖片

文本分塊是影響檢索精度與生成質(zhì)量的關(guān)鍵步驟，書(shū)中介紹了按固定字符數(shù)、遞歸、基于格式或語(yǔ)義等多種分塊策略。針對(duì)信息嵌入，介紹了從早期詞嵌入到當(dāng)下流行的OpenAI、Jina等現(xiàn)代嵌入模型，詳細(xì)說(shuō)明了如何對(duì)嵌入模型進(jìn)行微調(diào)。

針對(duì)向量存儲(chǔ)則介紹了Milvus、Weaviate等主流向量數(shù)據(jù)庫(kù)，以及選型時(shí)在索引類(lèi)型、檢索方式、多模態(tài)支持等多方面因素的考量，為構(gòu)建高效的向量存儲(chǔ)系統(tǒng)提供依據(jù)。

RAG系統(tǒng)優(yōu)化

優(yōu)化是提升RAG系統(tǒng)性能的關(guān)鍵。在檢索前處理中，介紹查詢(xún)構(gòu)建如何實(shí)現(xiàn)Text-to-SQL等復(fù)雜轉(zhuǎn)換，查詢(xún)翻譯能將簡(jiǎn)單模糊的查詢(xún)重寫(xiě)為精準(zhǔn)表述，查詢(xún)路由則通過(guò)邏輯路由等方式將查詢(xún)導(dǎo)向最合適的數(shù)據(jù)源。

索引優(yōu)化給出節(jié)點(diǎn)-句子滑動(dòng)窗口檢索、分層合并等實(shí)用方法，提高檢索效率。檢索后處理涵蓋RRF、Cross-Encoder等重排手段，以及Contextual Compression Retriever等壓縮技術(shù)，這些手段和技術(shù)可以對(duì)檢索結(jié)果執(zhí)行校正操作。

圖片

在響應(yīng)生成階段，通過(guò)改進(jìn)提示詞、選擇適配的大模型，采用Self-RAG等優(yōu)化方式，提升生成內(nèi)容的質(zhì)量，確保系統(tǒng)輸出既準(zhǔn)確又符合用戶(hù)需求。

RAG系統(tǒng)評(píng)估

評(píng)估是度量RAG系統(tǒng)性能的重要手段。書(shū)中構(gòu)建了全面的評(píng)估體系，評(píng)估數(shù)據(jù)集為測(cè)試提供基礎(chǔ)素材，檢索評(píng)估通過(guò)精確率、召回率等7種指標(biāo)，度量系統(tǒng)從知識(shí)庫(kù)中獲取相關(guān)信息的能力。響應(yīng)評(píng)估基于n-gram匹配、語(yǔ)義相似性等3類(lèi)指標(biāo)，判斷生成回答的質(zhì)量。

圖片

該部分還介紹了RAGAS、TruLens等4種評(píng)估框架，幫助讀者從不同維度對(duì)RAG系統(tǒng)進(jìn)行量化分析，清晰了解系統(tǒng)在準(zhǔn)確性、相關(guān)性、可靠性等方面的表現(xiàn)，進(jìn)而有針對(duì)性地進(jìn)行改進(jìn)。