一、數(shù)據(jù)分析的痛點與機遇

在當今大數(shù)據(jù)時代，實時數(shù)據(jù)倉庫的需求愈發(fā)重要。企業(yè)越來越多地依賴數(shù)據(jù)來支撐業(yè)務決策和創(chuàng)新，而“實時性”正逐漸成為影響數(shù)據(jù)分析和數(shù)據(jù)倉庫系統(tǒng)選擇的關(guān)鍵因素。那么，為什么實時數(shù)據(jù)倉庫如此重要？我們需要如何構(gòu)建一個實時數(shù)據(jù)倉庫？

通過與用戶的接觸和反饋，可以發(fā)現(xiàn)企業(yè)對于數(shù)據(jù)分析的實時性有著越來越高的要求。實時數(shù)據(jù)倉庫的構(gòu)建和管理中，實時性主要體現(xiàn)在以下三方面：

• 數(shù)據(jù)服務的實時性：隨著客戶需求的提升，數(shù)據(jù)產(chǎn)品和服務的實時響應能力變得至關(guān)重要。尤其在金融、零售等行業(yè)，業(yè)務系統(tǒng)需要隨時提供最新數(shù)據(jù)來支撐運營與決策。
• 數(shù)據(jù)處理的實時性：在數(shù)據(jù)進入數(shù)據(jù)倉庫的速度上，企業(yè)要求越來越短的延遲。傳統(tǒng)的批處理模式已經(jīng)不能滿足高頻數(shù)據(jù)更新的需求，實時處理數(shù)據(jù)的能力成了一個重要考量。
• 查詢與分析的實時性：數(shù)據(jù)倉庫不僅需要快速存入數(shù)據(jù)，更需要高效的查詢與分析。用戶希望數(shù)據(jù)一旦進入倉庫，即刻能夠進行高效分析，從而縮短從數(shù)據(jù)生成到分析產(chǎn)出的時間差。

成本問題與降本增效的需求

在不斷提高實時性的同時，企業(yè)也在關(guān)注數(shù)據(jù)分析過程中的成本問題。大數(shù)據(jù)領(lǐng)域的系統(tǒng)架構(gòu)經(jīng)過了二十多年的發(fā)展，尤其是基于 Hadoop 生態(tài)的技術(shù)棧已經(jīng)相對成熟，但由于它龐大的架構(gòu)體系，系統(tǒng)的維護和人力成本較高。傳統(tǒng)的 Hadoop 生態(tài)系統(tǒng)通常包括 HDFS、MapReduce、Hive 等組件，且每個組件的維護和優(yōu)化需要專門的人員。這種分散化、多模塊的架構(gòu)不僅增加了復雜度，也導致運維難度加大，使得企業(yè)需要投入大量資源去維護整個技術(shù)棧。

為了應對這些痛點，云原生架構(gòu)成為企業(yè)構(gòu)建實時數(shù)據(jù)倉庫的重要機遇。云技術(shù)的發(fā)展使得許多企業(yè)能夠輕松獲得彈性資源，極大地緩解了傳統(tǒng)大數(shù)據(jù)架構(gòu)中的資源瓶頸。云原生的基礎設施提供了以下兩方面的優(yōu)勢：

• 云原生技術(shù)：在傳統(tǒng)的 IT 架構(gòu)中，企業(yè)往往需要為峰值和低谷同樣的資源配置，但云原生技術(shù)允許按需擴展，支持企業(yè)只為所用資源付費，實現(xiàn)了更高的性價比。企業(yè)無需再維護本地的機房、服務器等硬件基礎設施，降低了大量的固定成本。
• 統(tǒng)一化的架構(gòu)整合：傳統(tǒng)大數(shù)據(jù)技術(shù)棧中包含多個分散的組件，每個組件需要獨立運維和優(yōu)化。相比之下，云原生的數(shù)據(jù)平臺可統(tǒng)一管理存儲、計算和查詢等服務，實現(xiàn)數(shù)據(jù)湖與數(shù)據(jù)倉庫一體化、批處理與流處理一體化。比如，數(shù)據(jù)湖在一體化數(shù)據(jù)分析中能靈活處理結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)，而統(tǒng)一架構(gòu)有助于簡化維護，減少開發(fā)和運維成本。

在這種背景下，企業(yè)有了拋棄舊技術(shù)棧、構(gòu)建新一代實時數(shù)據(jù)倉庫的迫切需求。SelectDB 產(chǎn)品正是順應了這一趨勢。通過云原生的技術(shù)優(yōu)勢，SelectDB 不僅能夠幫助企業(yè)降低成本，還實現(xiàn)了數(shù)據(jù)分析全流程的統(tǒng)一化和自動化，打破了傳統(tǒng)架構(gòu)的技術(shù)限制。

二、SelectDB 產(chǎn)品簡介

1. Apache Doris

Apache Doris 是一款采用 MPP 架構(gòu)的實時分布式 OLAP 數(shù)據(jù)倉庫，專注于高效的實時數(shù)據(jù)分析。Doris 項目于 2013 年內(nèi)部開發(fā)，2017 年正式開源，目前在 GitHub 上獲得了接近 13,000 星，全球已有超過 5,000 家企業(yè)采用，社區(qū)活躍度極高，累計貢獻者超過 650 人，且曾連續(xù)數(shù)月在大數(shù)據(jù)開源項目中排名第一。

Doris 廣泛應用于金融、互聯(lián)網(wǎng)、電信、交通、物流、零售、制造和游戲等多個領(lǐng)域。其核心優(yōu)勢體現(xiàn)在以下幾點：

• 實時數(shù)據(jù)處理：Doris 的設計支持毫秒級的數(shù)據(jù)加載和查詢，滿足了企業(yè)對實時數(shù)據(jù)分析的高要求。
• 高擴展性的 MPP 架構(gòu)：Doris 利用 MPP 架構(gòu)，實現(xiàn)大規(guī)模并行計算，確保在面對大數(shù)據(jù)集時仍能高效處理和快速分析。
• 簡化的運維與管理：Doris 采用統(tǒng)一架構(gòu)，減少了對復雜組件的依賴，降低了傳統(tǒng)數(shù)據(jù)倉庫的運維成本，使企業(yè)能夠更高效地管理數(shù)據(jù)平臺。

Doris 在各行業(yè)的廣泛應用不僅展示了其在實時分析、擴展性和低運維成本方面的強大優(yōu)勢，也為 SelectDB 的設計提供了堅實的技術(shù)基礎。

2. SelectDB

SelectDB 是基于 Apache Doris 開源項目構(gòu)建的一個商業(yè)化產(chǎn)品，主要定位于實時數(shù)據(jù)分析平臺。通過在 Apache Doris 之上進行進一步的包裝和優(yōu)化，SelectDB 在大數(shù)據(jù)生態(tài)系統(tǒng)中充當了高效的分析引擎，支持接入多種數(shù)據(jù)源并提供數(shù)據(jù)加工和 BI 分析服務。

SelectDB 可以接入多種數(shù)據(jù)源，支持包括 MySQL 等傳統(tǒng)數(shù)據(jù)庫、數(shù)據(jù)流、數(shù)據(jù)湖等各種不同的數(shù)據(jù)來源。對于數(shù)據(jù)湖中的數(shù)據(jù)，SelectDB 支持聯(lián)邦查詢，這樣用戶無需將數(shù)據(jù)物理導入至 SelectDB，即可直接進行分析。這種靈活的接入方式不僅簡化了 ETL 過程，還確保數(shù)據(jù)分析的實時性。

SelectDB 支持多種數(shù)據(jù)應用，包括數(shù)據(jù)加工、BI 報表生成、機器查詢等功能。作為大數(shù)據(jù)平臺中的關(guān)鍵一環(huán)，SelectDB 通過高效的數(shù)據(jù)查詢和處理能力，為用戶提供了全方位的數(shù)據(jù)分析支持。

SelectDB 的三種產(chǎn)品形態(tài)

• SelectDB Cloud：一種全托管的云端產(chǎn)品，由 SelectDB 自營。用戶可以在阿里云、騰訊云等公有云平臺上使用 SelectDB Cloud，無需自行管理基礎設施。
• 阿里云數(shù)據(jù)庫 SelectDB：由阿里云直接提供并集成在阿里云平臺上的 SelectDB 服務，用戶可以像使用其他云數(shù)據(jù)庫一樣便捷地獲取。
• SelectDB Enterprise：一種支持私有化部署的產(chǎn)品，適用于需要在企業(yè)自有 IDC、私有云中部署的場景。該版本滿足了數(shù)據(jù)安全與合規(guī)的需求，適合無法將數(shù)據(jù)外泄的敏感應用場景。

三、SelectDB 的設計探索與創(chuàng)新

1. SelectDB 的四大設計理念

在設計 SelectDB 時，聚焦于以下四大核心理念，以確保其產(chǎn)品能滿足用戶對實時數(shù)據(jù)分析的需求，并在云環(huán)境中實現(xiàn)高效、靈活的應用：

• 實時極速：SelectDB 重點提升數(shù)據(jù)導入和查詢的實時性，以滿足用戶對數(shù)據(jù)分析速度的高要求，實現(xiàn)毫秒級數(shù)據(jù)處理和查詢響應。
• 融合統(tǒng)一：通過兼容多種數(shù)據(jù)源，SelectDB 能夠在單一系統(tǒng)中處理不同數(shù)據(jù)來源的查詢和存儲需求，提供一致的數(shù)據(jù)服務，適應多樣化的數(shù)據(jù)處理場景。
• 云原生架構(gòu)：充分利用云技術(shù)的彈性與資源優(yōu)勢，SelectDB 基于云原生架構(gòu)設計，以降低用戶的基礎設施成本，并實現(xiàn)高效的資源利用。
• 開放生態(tài)：SelectDB 保持開放態(tài)度，鼓勵用戶參與開源社區(qū)，不僅能夠反饋需求，還可以直接參與開發(fā)，從而確保產(chǎn)品在實際應用中持續(xù)優(yōu)化和創(chuàng)新。

2. 實時極速

在設計 SelectDB 時，“實時極速”被視為數(shù)據(jù)價值的核心之一。團隊認為，數(shù)據(jù)的時效性越高，其對決策支持的價值就越大。在大數(shù)據(jù)時代，用戶對實時數(shù)據(jù)的需求已從過去的“天級”“小時級”提升到“分鐘級”甚至“秒級”，而 SelectDB 正是為滿足這一需求而生的。

要評估數(shù)據(jù)是否達到實時性，主要考量以下兩方面：

• 數(shù)據(jù)導入速度：數(shù)據(jù)從源系統(tǒng)導入 SelectDB 的速度是否足夠快，確保不會因長時間等待而降低數(shù)據(jù)價值。
• 數(shù)據(jù)查詢響應：數(shù)據(jù)的查詢響應時間是否足夠短，以便支持秒級甚至亞秒級別的快速查詢。特別是在需要即時數(shù)據(jù)分析的場景下，傳統(tǒng)的大數(shù)據(jù)查詢延遲已經(jīng)無法滿足需求，SelectDB 通過設計優(yōu)化在極短時間內(nèi)實現(xiàn)查詢響應。

為提升數(shù)據(jù)導入的實時性，SelectDB 提供了多樣化的數(shù)據(jù)導入 API 和工具。通過集成的 Flink Connector、Spark Connector 等工具，SelectDB 能夠從流式數(shù)據(jù)源按需導入數(shù)據(jù)，并支持設定 10 秒、20 秒等靈活的間隔來確保導入的實時性。

此外，SelectDB 在小批量高頻導入上也做了深入優(yōu)化，具體體現(xiàn)在以下兩方面：

• 更新模型支持：SelectDB 提供了原地更新的組件模型，允許數(shù)據(jù)在導入時直接更新到已有數(shù)據(jù)行上。這在傳統(tǒng)大數(shù)據(jù)架構(gòu)中是較為復雜的，因為小批量高頻更新通常會犧牲查詢性能，而 SelectDB 通過優(yōu)化設計有效解決了這一難題。
• Group Commit 優(yōu)化：SelectDB 實現(xiàn)了“攢批”機制（Group Commit），在實時性與查詢效率之間進行平衡，用戶可按需選擇導入和查詢模式，從而實現(xiàn)最佳性能。

在數(shù)據(jù)結(jié)構(gòu)的動態(tài)變化上，SelectDB 支持輕量級的 schema 更改，用戶可以在秒級時間內(nèi)完成加列、減列等操作，幾乎對系統(tǒng)無感知。這一功能解決了傳統(tǒng)系統(tǒng)在處理大數(shù)據(jù)表結(jié)構(gòu)調(diào)整時的延遲問題，使用戶在需要頻繁進行 schema 變更時也能靈活應對，滿足了用戶隨時調(diào)整數(shù)據(jù)模型的需求。

攢批（Group Commit）功能

在數(shù)據(jù)導入過程中，SelectDB 的“攢批”功能為小批量數(shù)據(jù)的高效寫入提供了靈活方案。該功能通過異步和同步模式的靈活設置，大幅優(yōu)化了數(shù)據(jù)導入的實時性和性能。

• 異步模式：在異步模式下，用戶提交的數(shù)據(jù)立即落盤為 WAL（Write-Ahead Log），而請求會在數(shù)據(jù)寫入前端返回，用戶提交的數(shù)據(jù)將會在一定時間后完成導入并可查詢。（例如，用戶可執(zhí)行單條“INSERT INTO”語句將一行數(shù)據(jù)寫入，這種方式通常與大數(shù)據(jù)系統(tǒng)不兼容（因其數(shù)據(jù)合并和讀寫優(yōu)化需求），而 SelectDB 提供了對該負載的兼容。在異步模式下，數(shù)據(jù)可見性延遲可達 10 秒左右，適合對數(shù)據(jù)可見性要求較低的用戶。）
• 同步模式：同步模式適用于數(shù)據(jù)導入后立即可見的場景。用戶在提交數(shù)據(jù)時，系統(tǒng)會在指定的延遲時間內(nèi)完成數(shù)據(jù)寫入并返回查詢結(jié)果。用戶可自行設定最長等待時間，當數(shù)據(jù)寫入請求返回時，即可立即查詢結(jié)果。這種模式兼顧了數(shù)據(jù)實時性的需求，但會帶來一定的寫入延遲。
• 非攢批模式：非攢批模式即為原始模式，不進行數(shù)據(jù)批次積累，數(shù)據(jù)直接導入。盡管可提供實時的可見性，但性能較差，適合對數(shù)據(jù)實時性和性能要求極高的特定場景。
• 自定義調(diào)優(yōu)參數(shù)：SelectDB 允許用戶根據(jù)實際需求自定義調(diào)節(jié)攢批參數(shù)，包括：數(shù)據(jù)可見性間隔（設定數(shù)據(jù)在異步模式下的可見時間）、積累批次最大值（控制每次積累的數(shù)據(jù)批次大小）。這種靈活的配置使得 SelectDB 可以應對不同場景的性能和可見性需求，用戶可以根據(jù)實際業(yè)務場景進行最優(yōu)配置。目前，攢批功能在 SelectDB 的兩類 API 上均已實現(xiàn)，可涵蓋絕大多數(shù)用戶的使用場景。

攢批功能顯著提高了小批量數(shù)據(jù)導入的效率，使得數(shù)據(jù)導入可以在更短的時間內(nèi)完成并可查詢，同時為不同的場景提供了靈活的可調(diào)參數(shù)。這種創(chuàng)新功能已被廣泛應用，幫助用戶在小批量、高頻次數(shù)據(jù)導入中實現(xiàn)最佳的實時性與性能平衡。

在查詢速度方面，SelectDB 在多個大數(shù)據(jù)應用場景中表現(xiàn)出色，通過自研優(yōu)化器和基于 Pipeline 的執(zhí)行框架實現(xiàn)了極致的查詢效率。以下為 SelectDB 在主要查詢場景中的優(yōu)勢：

• 大寬表查詢：SelectDB 在大寬表查詢中性能領(lǐng)先，特別是在 Clickbench 這樣的系統(tǒng)中表現(xiàn)卓越，甚至達到了榜首水平。這種優(yōu)勢得益于 SelectDB 在數(shù)據(jù)結(jié)構(gòu)和執(zhí)行優(yōu)化上的創(chuàng)新，使得大寬表的查詢速度大幅提升。
• 多表 JOIN 查詢在多表 JOIN 場景中（如 TPCH、TPCHS 測試基準），SelectDB 同樣具備數(shù)量級的性能領(lǐng)先。通過多項執(zhí)行優(yōu)化技術(shù)（例如基于物化視圖、Runtime Filter 等），SelectDB 在復雜查詢中的表現(xiàn)遠超傳統(tǒng)系統(tǒng)。
• 高性能點查：SelectDB 在高并發(fā)點查上具備獨特的優(yōu)化，能夠?qū)崿F(xiàn)數(shù)量級的吞吐和低延遲，達到了萬億級 QPS 的表現(xiàn)。多項技術(shù)的結(jié)合，包括對高并發(fā)的吞吐率和低延遲的深度優(yōu)化，使得在點查場景中，SelectDB 展示出極強的性能。

為了提升在高頻點查場景中的性能，SelectDB 針對 IO 和查詢規(guī)劃進行了創(chuàng)新優(yōu)化。以下為關(guān)鍵的改進措施：

• 行列混合存儲優(yōu)化 IO：傳統(tǒng)大數(shù)據(jù)系統(tǒng)基于列式存儲，導致每次查詢特定行時需要從多列讀取數(shù)據(jù)，產(chǎn)生大量隨機 IO。SelectDB 通過引入“行列混合存儲”的方案，將每行數(shù)據(jù)以結(jié)構(gòu)化的形式存入內(nèi)部列，從而在查詢時可以只讀取該內(nèi)部列，減少 IO 操作頻次。該方案通過存儲空間換取查詢時間，將原先 1000 列的隨機 IO 縮減為 1 個，大幅提升 IO 效率。
• 專用的點查規(guī)劃與執(zhí)行路徑：在查詢規(guī)劃方面，SelectDB 針對點查操作設計了專門的規(guī)劃器和執(zhí)行路徑。對于簡單的點查請求，SelectDB 能夠自動識別查詢條件的明確性，并采用簡化的短路執(zhí)行路徑，避免了傳統(tǒng)優(yōu)化器的復雜計算過程。這種路徑能夠快速鎖定目標數(shù)據(jù)節(jié)點并執(zhí)行查詢，不需要進行數(shù)據(jù) shuffle，從而提高查詢速度。
• 預編譯 SQL 語句：對于高頻點查的場景，SelectDB 通過 Prepare Statement 優(yōu)化，對用戶的 SQL 語句進行預編譯。這減少了重復的解析和語義分析，降低了高 QPS（每秒查詢量）下的解析壓力，實現(xiàn)更高的吞吐性能。
• 緩存與索引優(yōu)化：SelectDB 在點查上還采用了基于磁盤和內(nèi)存的緩存，并結(jié)合索引技術(shù)進一步加速查詢響應。在典型三節(jié)點集群配置下，點查吞吐量可達 2 萬-3 萬 QPS，查詢延遲維持在個位數(shù)毫秒級別，為用戶提供了極高的查詢性能和低延遲體驗。

3. 融合統(tǒng)一

SelectDB 致力于通過一套系統(tǒng)支持多種工作負載，簡化 ETL 和查詢。其架構(gòu)演進如下：

• 單庫單倉庫：傳統(tǒng)模式，以單一庫或倉庫為核心，處理有限工作負載，ETL 依賴外部組件。
• 混合數(shù)據(jù)源：支持多源數(shù)據(jù)進入倉庫，擴大工作負載能力，但 ETL 效率仍受限。
• 融合統(tǒng)一：SelectDB 通過集成 ETL 和查詢能力，實現(xiàn)對內(nèi)外表的統(tǒng)一查詢，支持多工作流，簡化數(shù)據(jù)處理流程，實現(xiàn)"all-in-one"的高效架構(gòu)。

在融合統(tǒng)一方面，SelectDB 通過對多種數(shù)據(jù)源（如 HICE、Hive、Iceberg、MySQL 等）的支持，提升了查詢效率，尤其是在湖數(shù)據(jù)查詢和 ETL 性能上取得顯著優(yōu)化：

• 多源數(shù)據(jù)集成：SelectDB 支持通過 Catalog 方式集成多種外部數(shù)據(jù)源，優(yōu)化外表查詢的性能。
• 湖數(shù)據(jù)查詢優(yōu)化：針對湖數(shù)據(jù)查詢，SelectDB 在規(guī)劃層面進行了優(yōu)化，通過統(tǒng)一統(tǒng)計信息和 workload 理解，比傳統(tǒng)查詢引擎如 Trino、Presto 表現(xiàn)更優(yōu)。
• 實時與批處理的統(tǒng)一：SelectDB 支持數(shù)據(jù)實時導入和庫內(nèi)ETL，大幅提升性能，相較于 Hive、Spark 等有數(shù)量級性能優(yōu)勢。

SelectDB 通過支持復雜數(shù)據(jù)類型（如 map、array、variant）實現(xiàn)數(shù)據(jù)類型的多樣化和簡便性，尤其適用于海量日志數(shù)據(jù)場景。相比于傳統(tǒng)結(jié)構(gòu)，這些復雜類型能有效簡化用戶操作：

• 復雜數(shù)據(jù)類型支持：SelectDB 除傳統(tǒng) MySQL 數(shù)據(jù)類型外，支持 map、array 等復雜類型及自動類型推導。用戶無需手動定義類型，系統(tǒng)會根據(jù)存儲內(nèi)容自動識別類型，簡化操作。
• 日志場景優(yōu)化：針對海量日志場景，SelectDB 提供更高的寫入吞吐和更優(yōu)的性價比，尤其在與 ES（Elasticsearch）系統(tǒng)對比中顯示出顯著的存儲效率和性能優(yōu)勢，減少了存儲開銷并提升了查詢性能。

4. 云原生架構(gòu)

在 SelectDB Cloud 的原生架構(gòu)設計中，系統(tǒng)將計算和存儲徹底解耦，以實現(xiàn)高性價比和靈活的資源管理。架構(gòu)主要由接入層、計算節(jié)點和存儲層組成，關(guān)鍵特性包括：

• 統(tǒng)一接入層和云化服務：SelectDB Cloud 作為云化服務，通過統(tǒng)一接入層讓用戶訪問系統(tǒng)的計算與存儲資源，提供一致的訪問體驗。
• 計算與存儲分離：存儲層采用單副本共享的對象存儲方案，既降低成本，又支持計算層的彈性擴展。對象存儲雖然需要網(wǎng)絡訪問，但系統(tǒng)通過本地緩存來保持性能，主要緩存用戶查詢的熱數(shù)據(jù)。通常情況下，為過去 7 天的數(shù)據(jù)配置緩存即可，降低整體熱數(shù)據(jù)成本。
• 性能優(yōu)化：為了緩解對象存儲訪問的延遲，SelectDB 實現(xiàn)了多層次的緩存，包括基于內(nèi)存的緩存和預讀優(yōu)化，使得常用數(shù)據(jù)能夠快速被檢索。
• 彈性與自動擴縮容：系統(tǒng)支持根據(jù)業(yè)務高峰和低峰自動擴縮容，用戶可以配置策略來自動調(diào)整計算資源，甚至在沒有流量時實現(xiàn)計算節(jié)點的完全停機，僅保留倉庫存儲，降低不必要的成本。
• 多計算集群和細粒度隔離：支持多計算集群的隔離，用戶可以將導入和查詢分離，并且同一數(shù)據(jù)集可以供不同業(yè)務使用，以滿足不同的查詢需求，靈活性大大提升。

SelectDB Cloud 的原生架構(gòu)設計，不僅在性能和彈性上有所保障，還能為用戶在復雜業(yè)務負載下提供資源優(yōu)化和成本控制。

5. 開放生態(tài)

在生態(tài)方面，SelectDB 基于 Apache Doris 構(gòu)建，確保與 Apache Doris 的存儲格式和接口兼容。這個設計使得 SelectDB 和 Doris 之間可以隨時切換，用戶在使用開源版本時如果感受到規(guī)模擴大后對穩(wěn)定性和商業(yè)支持的需求，可以輕松遷移到 SelectDB 商用版本。而對于需要更高自運維能力的用戶，也可以在 SelectDB 與 Doris 之間隨時轉(zhuǎn)換，保持靈活性。

此外，SelectDB、Doris 均基于 MySQL 協(xié)議，因此任何支持 MySQL 連接的工具（如 MySQL 客戶端、JDBC 等）都可以無縫連接到這些系統(tǒng)。這種兼容性大大簡化了系統(tǒng)的集成和使用，尤其對于已經(jīng)熟悉 MySQL 的用戶，能夠迅速上手并集成進現(xiàn)有的技術(shù)棧。

四、SelectDB 應用場景與用戶案例

1. 案例-統(tǒng)一分析平臺

以某知名服裝生產(chǎn)商為例，該公司的業(yè)務流程復雜，涉及多種工作負載，如實時報表、ETL 處理以及數(shù)據(jù)導出等。之前，企業(yè)使用了多個不同的系統(tǒng)，如 GTP、ADB 等，管理這些系統(tǒng)需要大量的人力和維護成本。為了保證系統(tǒng)的穩(wěn)定性，公司需要至少四五名運維人員來管理這些復雜的系統(tǒng)架構(gòu)。這個多系統(tǒng)的環(huán)境帶來了較高的運維成本和管理難度。

在引入 SelectDB 之后，原有的多個系統(tǒng)被替換為 SelectDB，后者實現(xiàn)了系統(tǒng)的融合統(tǒng)一，能夠處理不同的數(shù)據(jù)流，例如支持 Flink 以及數(shù)據(jù)湖查詢等。這樣一來，系統(tǒng)架構(gòu)變得更加簡化，不再需要多套系統(tǒng)之間的配合工作，整體性能得到了提升，同時運維的復雜性和成本也大大降低。SelectDB 不僅提升了性能，還能支持千億級別的數(shù)據(jù)處理，提供了便捷的橫向擴展能力，幫助該企業(yè)建立了一個統(tǒng)一的數(shù)據(jù)服務平臺。這一案例展示了 SelectDB 在制造業(yè)中作為通用數(shù)據(jù)平臺的應用效果，尤其是在減少系統(tǒng)復雜性、降低成本和提升性能方面的優(yōu)勢。

2. 案例-日志搜索分析

在日志場景中，SelectDB 替代了傳統(tǒng)的 ES 和 Loki 等系統(tǒng)，帶來了顯著的成本下降。原本，ES 在性能上表現(xiàn)良好，但存儲成本較高；而 Loki 雖然存儲成本較低，但性能稍遜。通過使用 SelectDB，整體成本大幅下降，存儲和性能都優(yōu)于 ES。具體來說， SelectDB 在日志檢索方面的性能優(yōu)越，支持高效的查詢，同時大大降低了存儲開銷。接入 SelectDB 后，用戶的操作變得更加簡便，并且可以直接使用該系統(tǒng)來替代原有的 ELK 生態(tài)。

這種轉(zhuǎn)換帶來的好處不僅限于成本節(jié)省，還使得用戶的使用體驗得到了提升，尤其是在需要處理大量日志數(shù)據(jù)的場景下。SelectDB 的優(yōu)越性能和低成本使得它成為日志管理和分析的理想選擇。這也說明了 SelectDB 在日志場景中的突出能力，能夠為用戶提供一個高效、低成本的解決方案。對于有興趣深入了解的朋友，可以通過私下交流進一步探討更多細節(jié)，或在展臺進行面對面的交流。