譯者 | 李睿

審校 | 重樓

本文對流式數據庫進行探討，因為它是數據流處理系統的核心組件。如果需要更多選擇，還將提供一些商業上可用的解決方案。

流式數據庫的基礎知識

流處理的本質是將數據視為連續不斷的流進行管理，不能依賴傳統的數據庫來存儲數據。我們將流式數據庫定義為用于存儲、處理和增強數據流的實時數據存儲庫。因此，流式數據庫的基本特征是它們管理動態數據的能力，即能夠實時捕獲和處理事件，確保數據的即時性和有效性。

流式數據庫

與存儲靜態數據集并需要定期更新來處理它們的傳統數據庫不同，流式數據庫采用事件驅動模型，在生成數據時對其作出反應。這使組織能夠從實時數據中提取可操作的見解，從而實現及時決策和對動態趨勢的響應。

流式數據庫和傳統數據庫之間的一個關鍵區別在于它們對時間的處理方式。在流式數據庫中，時間是一個關鍵維度，因為數據不僅僅是靜態記錄，而且與時間屬性相關聯。

流式數據庫中的延遲

具體來說，可以定義以下內容：

• 事件時間：是一個事件或數據點在現實世界中實際發生的時間。例如，如果正在處理來自測量溫度的設備的傳感器數據流，則事件時間將是傳感器記錄每次溫度測量的實際時間。
• 處理時間：是在流處理系統中處理事件的時間。例如，如果在接收到溫度測量值之后處理溫度測量值有延遲或滯后，則處理時間將晚于事件時間。

這種時間感知能力有助于創建基于時間的聚合，使企業能夠正確理解時間間隔內的趨勢和模式，并處理無序事件。

事實上，由于網絡延遲、不同的處理速度或其他因素等原因，事件并不總是按照它們在現實世界中發生的順序到達處理系統。

因此，通過將事件時間合并到分析中，流式數據庫可以根據事件在現實世界中的實際發生情況對事件進行重新排序。這意味著，即使它們無序到達，與每個事件相關聯的時間戳可以用于將事件排列在正確的時間序列中。這確保了分析計算和聚合反映事件的時間現實，提供了對趨勢和模式的準確見解。

實現流式數據庫面臨的挑戰

雖然流式數據庫為實時數據處理提供了一種革命性的方法，但它們的實現可能具有挑戰性。

以下是實現流式數據庫面臨的挑戰：

1.流式數據的龐大數量和速度

實時數據流以高速產生大量新數據，特別是在物聯網和金融市場等應用中常見的高頻數據流。因此，流式數據庫需要在不犧牲性能的情況下有效地處理連續的數據流。

2.確保實時數據的一致性

在傳統的批處理中，一致性是通過定期更新來實現的。在流式數據庫中，實時確保分布式系統之間的一致性卻帶來了更大的復雜性。事件時間處理、水印和冪等運算等技術被用來解決這些挑戰，但需要仔細實現。

3.安全和隱私問題

流數據通常包含敏感信息，對其進行實時處理需要強大的安全措施。加密、身份驗證和授權機制必須集成到流式數據庫架構中，以保護數據免受未經授權的訪問和潛在的破壞。此外，遵從數據保護法規又增加了一層復雜性。

4.工具和集成

流式數據源的多樣性和可用工具的多樣性需要深思熟慮的集成策略。與現有系統的兼容性、易于集成以及支持不同數據格式和協議的能力成為關鍵考慮因素。

5.對技術人員的需求

由于流式數據庫本質上與實時分析有關，因此必須考慮到對開發、管理和優化這些系統的熟練人員的需求。該領域專業知識的缺乏可能會延遲流式數據庫的廣泛采用，組織必須在培訓和開發方面進行投資，以彌補這一差距。

流式數據庫的架構

流式數據庫的架構是為了有效地處理實時數據流的復雜性而精心設計的。

該架構的核心體現了分布式計算的原則，支持對流式數據動態特性的可擴展性和響應性。

流式數據庫架構的一個基本方面是能夠容納連續的、高速的數據流。這是通過數據攝取、處理和存儲組件的組合實現的。

數據攝取層負責實時收集和接受來自各種來源的數據。這可能涉及到外部系統、消息隊列或直接API集成的連接器。

數據一旦被攝取，就會在流處理層中進行處理，在該層中對數據進行近乎實時的分析、轉換和豐富。這一層通常使用流處理引擎或框架，這些引擎或框架支持在流數據上執行復雜的計算，從而允許推導有意義的見解。

流式數據庫中的事件

由于它們處理實時數據，流式數據庫架構的一個標志是事件驅動的范式。實際上，每個數據點都被視為一個事件，系統實時地對這些事件作出反應。這種時間感知能力是基于時間的聚合和處理無序事件的基礎，有助于對數據的時間動態進行更細致的理解。

流式數據庫中的模式設計也是動態和靈活的，允許數據結構隨時間的推移而變化。實際上，與具有嚴格模式的傳統數據庫不同，流式數據庫適應流數據的流動性，其中模式可能隨著新字段或屬性的引入而改變：這種靈活性允許處理不同的數據格式并滿足流應用程序不斷變化的需求。

流式數據庫示例

現在介紹幾個商業上可用的流式數據庫示例，以突出它們的功能和應用領域。

1.RisingWave

RisingWave是一個分布式SQL流式數據庫，可以實現簡單、高效、可靠的流數據處理。它消耗流數據，在新數據進入時執行增量計算，并動態更新結果。

由于RisingWave是一個分布式數據庫，因此它采用并行化來滿足可擴展性的需求。實際上，通過將處理任務分布到多個節點或集群，它可以有效地并發處理大量傳入數據流。這種分布式特性還確保了容錯性和彈性，因為即使在節點出現故障的情況下，系統也可以繼續無縫運行。

另外，RisingWave數據庫是一個為云計算設計的開源分布式SQL流式數據庫。特別是，它是作為一個分布式流式數據庫從頭開始設計的，而不是基于另一個系統的臨時實現。

它還允許開發人員通過級聯物化視圖來表達復雜的流處理邏輯，從而降低了構建流處理應用程序的復雜性。此外，它允許用戶直接在系統內持久保存數據，而不需要將結果交付給外部數據庫進行存儲和查詢服務。

RisingWave數據庫易用性的描述如下：

• 簡單易學：它使用PostgreSQL風格的SQL，使用戶能夠像使用PostgreSQL數據庫一樣深入到流處理中。
• 易于開發：由于它作為關系數據庫運行，開發人員可以將流處理邏輯分解為更小的、可管理的、堆疊的物化視圖，而不是處理大量的計算程序。
• 易于集成：通過與各種云計算系統和PostgreSQL生態系統的集成，RisingWave擁有豐富而擴展的生態系統，可以直接集成到現有的基礎設施中。

最后，Materialize提供了強大的一致性和正確性保證，即使在并發數據更新的情況下也能確保查詢結果準確可靠。這使得它成為需要及時洞察和實時分析的應用程序的理想解決方案。

Materialize提供實時、增量處理流數據的能力，加上其易用性和強大的性能，使其成為現代數據驅動應用程序的強大工具。

最后，RisingWave提供了RisingWave云：這是一種托管服務，可以創建一個新的云托管的RisingWave集群，并在幾分鐘內開始進行流處理。

2.Materialize

Materialize是一種高性能、基于SQL的流式數據倉庫，旨在提供實時、增量的數據處理，并強調簡單性、效率和可靠性。其架構使用戶能夠以最小的延遲在流數據之上構建復雜的增量數據轉換和查詢。

由于它是為實時數據處理而構建的，Materialize利用高效的增量計算來確保低延遲的更新和查詢。通過只處理數據中的更改，而不是重新處理整個數據集，它能夠以最佳性能處理高吞吐量數據流。

Materialize旨在橫向擴展，跨多個節點或集群分布處理任務，以并發管理大量數據流。這種特性還增強了容錯性和彈性，即使面對節點故障，也允許系統無縫運行。

作為一個開源的流式數據倉庫，Materialize提供了透明度和靈活性。它從頭開始構建，以支持實時、增量數據處理，而不是作為現有系統的附加組件。

它允許開發人員通過標準SQL查詢表達復雜的流處理邏輯，從而顯著地簡化了流處理應用程序的開發。實際上，開發人員可以直接在系統中持久化保存數據，而無需將結果移動到外部數據庫進行存儲和查詢服務。

Materialize的易用性描述如下：

• 簡單易學：它使用PostgreSQL兼容的SQL，使開發人員能夠利用他們現有的SQL技能進行實時流處理，而且沒有陡峭的學習曲線。
• 易于開發：Materialize允許用戶使用熟悉的SQL語法編寫復雜的流式查詢。該系統自動維護物化視圖和處理流處理底層復雜性的能力意味著開發人員可以專注于業務邏輯，而不是復雜的數據流管理，從而簡化開發階段。
• 易于集成：通過支持包括Kafka和PostgreSQL在內的各種數據源和接收器，Materialize無縫集成到不同的生態系統中，使與現有基礎設施的集成變得容易。

最后，Materialize提供了強大的一致性和正確性保證，即使在并發數據更新的情況下也能確保查詢結果的準確性和可靠性。這使得它成為需要及時洞察和實時分析的應用程序的理想解決方案。

Materialize提供實時、增量處理流數據的能力，加上其易用性和強大的性能，使其成為現代數據驅動應用程序的強大工具。

結論

本文分析了處理數據流時對流式數據庫的需求，并將其與傳統數據庫進行了比較。

雖然在現有軟件環境中實現流式數據庫帶來了一些挑戰，但RisingWave和Materialize等可用的商業解決方案可以克服這些挑戰。

原文標題：Exploring the Dynamics of Streaming Databases，作者：Federico Trotta