大模型時代，新一代向量數據庫的探索應用-DingoDB
一、DingoDB 的設計理念
2015 年前，數據架構以數據倉庫（Data Warehouse）為主，專注于結構化數據的統一存儲。到 2016-2022 年期間，流行數據湖（Data Lake）的概念，擴展了數據維度并管理了更多類型的數據。最近一年，AIGC 飛速發展，數據生態隨之演進到了新的數據棧時代，隨著數據分析復雜度的不斷提升，由最初的查詢處理需求，擴展到機器學習和深度學習，又發展到了現在的自助分析、生成式內容創作（AIGC）、自動化機器學習平臺（AutoML、GPT）等場景。這些都離不開對現實世界中的結構化、半結構化和非結構化數據的高效管理。需求的增長催生了新的數據生態。
在新的數據棧時代，原有數據處理流程基本不變，包括數據的來源、獲取、轉化、存儲和計算以及利用數據進行分析預測和構建應用。未來趨勢是走向"向量海"，所有非結構化數據最終會被轉化為向量進行存儲，基于數據結構構建實時分析處理流程，在此基礎上再構建出各種數據應用。
九章云極 DataCanvas 在數據生態方面積累了豐富的經驗，提出一站式解決方案，涵蓋了數據攝取到數據應用的全過程，并推出了相應的成熟軟件和產品來滿足客戶需求。DingoDB 是其中的多模向量數據庫，主要目標是處理數據存儲和計算，以及部分分析和預測的功能。
除了 DingoDB，還推出更多相關產品，如 TableAgent 數據分析智能體以及自有的人工智能平臺和大模型。這一系列工具的目的是為了能夠串聯起數據處理的全流程，為用戶提供一站式的解決方案，有效滿足大規模數據的存儲、分析和應用需求。
在"Vector Ocean"時代，數據生態融合了多樣化的數據類型，如圖像、文檔、音頻和視頻。這些多模態、非結構化數據通過向量化后，成為不同維度的向量集合，進而存儲于大規模、高效的向量數據庫中。這個數據庫內部采用多種不同的數據組織形式，包括傳統的數據庫表結構、鍵值對（KV）存儲，甚至可能包括文檔型數據庫（Document DB）。存儲這些數據之后，可以支持多種應用場景，如商業智能（BI）、數據流分析、人工智能（AI）、數據科學等。
DingoDB 致力于創建一個多模態向量數據庫，能夠整合結構化數據和非結構化數據的存儲、分析與查詢。滿足用戶對向量查詢的需求，也能夠保護和利用其現有數據，并強化對向量查詢的支持。
二、DingoDB 的產品優勢和架構介紹
1. DingoDB 概覽
DingoDB 支持結構化、半結構化和非結構化數據的存儲，提供與 MySQL 兼容的協議和優化器。數據庫底層支持鍵值對（KV）和向量的存儲，并采用分布式存儲架構，實現多模態數據的聯合存儲和分析。用戶可以通過 SQL 指令和 API 訪問數據，并支持服務器端運算。整體上是一個完整的多模態向量數據庫。
DingoDB 致力于解決大規模、多模態數據存儲和分析的問題，提供海量存儲能力和聯合分析服務。面臨的挑戰包括多模態數據的統一分析和融合存儲的難度、數據的高可用性以及服務計算與存儲的一體化問題。DingoDB 旨在簡化系統之間的復雜度，提供更有效的存儲方案，為用戶保障數據的可靠性和完整性，同時不斷研究和解決業界面臨的問題。
作為中國信通院首批認證通過的向量數據庫，DingoDB 以卓越的產品能力完成測試，通過包括 27 個必選項在內的共計 39 個測試項目，通過數量遠超同期測評廠商，成為當前通過項目最多的向量數據庫。
當前，DingoDB 已成為 Langchain 項目官方支持的后端存儲。
2. DingoDB 特點
DingoDB 的產品特點主要集中在四個方面：存儲、SQL 處理、API 支持和數據分析。
- 在存儲方面，DingoDB 基于工業級的 Raft 協議實現多副本策略，確保了數據的強一致性和安全性。這種設計也使得數據庫容易擴容，降低了用戶的成本并提高了性能與可靠性。
- 在 SQL 處理方面，DingoDB 提供了統一的 SQL 處理能力，支持 MySQL 協議和索引管理。數據庫支持監控化和分解化的融合分析，允許對數據進行更復雜的查詢操作。
- API 層面，DingoDB 支持多種高性能 API 接口，滿足如決策制定等高頻業務需求，便于用戶直接進行數據分析。
- 在數據分析能力上，DingoDB 通過 Python SDK 支持多模態數據的混合分析，包括向量和標量索引的混合檢索。數據庫同時兼容多種處理器并支持算子下推，這是一項增強查詢效率和性能的強大功能。
3. DingoDB 架構
DingoDB 的邏輯架構被分為多個層次。最上層是各種應用場景，涵蓋了傳統關系數據庫分析、語義搜索、結構化和分解化數據分析等方面，以及實時數據決策支持、提示詞管理、大模型記憶體等現代火熱場景。
在接口層，DingoDB 提供了與 MySQL 協議兼容的 SQL 支持、高性能的 Serving API 以及原生向量 API 的支持。在 API 下面一層提供了高效的元數據存儲和資源管理能力，緊接著是查詢優化器和事務管理器，負責查詢和寫入調度的實現。
在執行層，DingoDB 具有一個多模態執行引擎。
在存儲層，DingoDB 支持關系型表、向量表，并能夠對接其他類型的存儲如對象存儲或分布式文件系統。
上圖清晰展示了 DingoDB 從應用層到底層存儲的架構設計。
應用層：DingoDB 支持多種應用場景。
協議層：包括三個接入入口，一是支持 MySQL 客戶端和 JDBC Driver 的 SQL 入口；二是提供高性能的 Java SDK，可以直接連接到存儲層，滿足實時訪問需求；三是適應 Python 環境的大模型需求，通過 Python 或 C++ SDK 實現快速接入。
計算層：主要由兩部分構成——Executor 是處理分布式事務和查詢優化的分布式支撐引擎；Coordinator 作為協調器，負責元數據管理和資源管理。
存儲層：底層是核心的存儲架構，包括原始數據存儲以及向量索引和標量索引的存儲。此外，DingoDB 還支持向量的動態構建和計算功能。
4. DingoDB 產品優勢
DingoDB 的產品優勢主要體現在五個方面：
- 全面的訪問接口：提供 SQL、SDK、API 等多種訪問模式，支持表格和向量作為一等公民的數據模型，允許用戶靈活選擇和使用。
- 內建的數據高可用：所有功能和高可用性都是內建的，不需要部署外部組件，極大降低了部署和運維成本。
- 全自動彈性數據分片：支持動態配置數據分片大小，能夠根據用戶設置的閾值自動進行數據分片的分類和合并，無需用戶擔心分布式數據管理。
- 標量和向量的聯合查詢：支持傳統索引類型以及主流向量索引類型，無縫銜接標量和向量混合檢索，使得檢索能力在業界領先。
- 內建實時索引構建優化：根據數據規模變化和計算資源配置，自動重新構建索引以優化數據結構，提高訪問效率，用戶無感知地體驗到索引更新的效果。
三、應用場景介紹
DingoDB 被應用于多種場景，包括企業知識庫建設、作為大型模型的記憶體、實時決策的指標分析，并且支持 VectorOcean 數據支撐平臺等應用。
在賦能大模型應用方面，DingoDB 的應用被分為四個不同的層次，涵蓋了從數據到 Embedding Model的整個流程。包括使用業界公開或自研的大型模型和 Embedding 模型來實現數據的向量化。在向量存儲層面用 DingoDB 支撐各種場景，然后再去對接大語言模型去實現各種應用。
知識管家是大模型時代，基于向量數據庫和大模型的一個新的應用方向。DingoDB 為知識管家提供了強有力的支撐。知識管家主要負責企業的知識管理和創造，應用場景包括智能問答、內容創作助手、智能化工作流程、企業決策輔助等等。
關于DingoDB的進一步信息和開源代碼可以通過 GitHub 獲取。
http://github. com/dingodb/dingo。
https://github. com/dingodb/dingo-store。
https://www. dingodb. com/。
