要搭建 “生產級” 的檢索增強生成（RAG）系統，你需要按按照“分層思維”的設計，每一層都對應解決一個具體問題，從數據的 “接入” 到用戶與應用的 “交互”，形成完整閉環。

下面我們詳細拆解生產級 RAG 系統的核心技術層及對應工具：

1. 前端框架（Frontend frameworks）

這是用戶與系統交互的 “入口”，用于搭建簡潔易用的界面（UI），常用工具包括 NextJS、Streamlit、VueJS 等。

2. LLM 編排框架（LLM frameworks for orchestration）

負責連接模型、工具與工作流程，起到 “協調中樞” 的作用，代表工具有 LangChain、CrewAI、LlamaIndex、Haystack、Semantic Kernel。

3. 大語言模型（LLMs）

相當于系統的 “大腦” 或 “推理引擎”。開源模型在此提供了更高的靈活性，可選包括 Llama、Mistral、Gemma、DeepSeek、Qwen、Phi-2 等。

4. 檢索與排序（Retrieval & Ranking）

大語言模型的輸出質量，完全取決于你提供的 “上下文質量”，同時還需保證極低的響應延遲。

• 檢索工具（比如：FAISS、Milvus、Weaviate）：幫你精準提取所需的 “數據片段”；
• 排序工具（比如：JinaAI 的重排模型）：進一步優化結果的相關性。

5. 向量數據庫（Vector databases）

用于存儲 “向量嵌入”（數據的數值化表示），支持大規模場景下的快速相似性檢索，常用工具包括 Milvus、Chroma、Weaviate、pgVector。

6. 嵌入模型（Embedding models）

向量數據庫中存儲的 “向量嵌入”，正是由這類模型生成。它們能將原始文本轉換成捕捉語義相似性的 “數值列表”，可選工具包括：

• SentenceTransformers、HuggingFace Transformers、JinaAI、Nomic 等（均為開源）；
• MongoDB 的 voyage-context-3（非開源，但實測性能極佳，其 512 維二進制量化嵌入，效果優于 OpenAI v3 large 模型的 3072 維 ?float32 嵌入）。

7. 數據接入與處理（Ingest & data processing）

負責將數據 “接入” 到工作流程中，常用工具包括 Kubeflow、Airflow、LangChain 加載器（LangChain loaders）、Haystack 流水線（Haystack pipelines）。

如果想深入學習 LLM（大語言模型）應用開發，推薦一個干貨免費的《RAG 速成全課程》涵蓋了從基礎到進階的全部內容：

• RAG 基礎原理
  學習地址：???https://www.dailydoseofds.com/a-crash-course-on-building-rag-systems-part-1-with-implementations/??
• RAG 效果評估
  學習地址：???https://www.dailydoseofds.com/a-crash-course-on-building-rag-systems-part-2-with-implementations/??
• RAG 性能優化
  學習地址：???https://www.dailydoseofds.com/a-crash-course-on-building-rag-systems-part-2-with-implementations/??
• 多模態 RAG（支持文本、圖片等多種數據類型）
  學習地址：???https://www.dailydoseofds.com/a-crash-course-on-building-rag-systems-part-5-with-implementation/??
• 圖結構 RAG（Graph RAG）
  學習地址：???https://www.dailydoseofds.com/a-crash-course-on-building-rag-systems-part-5-with-implementation/??
• 基于 ColBERT 的多向量檢索
  學習地址：???https://www.dailydoseofds.com/a-crash-course-on-building-rag-systems-part-5-with-implementation/??
• 基于 ColPali 的復雜真實文檔 RAG（處理帶表格、圖表的文檔等）
  學習地址：???https://www.dailydoseofds.com/a-crash-course-on-building-rag-systems-part-5-with-implementation/??

好了，這就是我今天想分享的內容。

本文轉載自???玄姐聊AGI??  作者：玄姐