數(shù)據(jù)網(wǎng)格模式

企業(yè)數(shù)據(jù)網(wǎng)格正在成為一種獨(dú)特且引人注目的方式來管理企業(yè)內(nèi)的數(shù)據(jù)。它將“產(chǎn)品思維”引入企業(yè)數(shù)據(jù)管理，同時(shí)在企業(yè)中實(shí)現(xiàn)更高水平的敏捷性和數(shù)據(jù)治理。它創(chuàng)造了一種“自助服務(wù)”能力，具有近乎實(shí)時(shí)的數(shù)據(jù)同步，從而為實(shí)時(shí)數(shù)字企業(yè)奠定了基礎(chǔ)。

但是，唉，沒有單一的產(chǎn)品可以為您帶來數(shù)據(jù)網(wǎng)格。相反，企業(yè)的數(shù)據(jù)網(wǎng)格由許多常用組件組成(請參閱下一節(jié)數(shù)據(jù)網(wǎng)格架構(gòu)回顧)。

但成功的關(guān)鍵是了解這些組件如何相互作用。在本文中，我將使用架構(gòu)模式來描述這些交互。

數(shù)據(jù)網(wǎng)格架構(gòu)回顧

企業(yè)數(shù)據(jù)網(wǎng)格由許多組件組成(更多詳細(xì)信息可在此處、此處和此處獲得)。數(shù)據(jù)產(chǎn)品是數(shù)據(jù)網(wǎng)格中的主要構(gòu)建塊，包含使用企業(yè)的數(shù)據(jù)網(wǎng)格在整個(gè)組織中同步的運(yùn)營、分析和/或參與數(shù)據(jù)。API 用于訪問數(shù)據(jù)產(chǎn)品中的數(shù)據(jù)。為了支持聯(lián)合治理，每個(gè)數(shù)據(jù)產(chǎn)品都包含一個(gè)記錄數(shù)據(jù)更改的審計(jì)日志和一個(gè)它管理的數(shù)據(jù)目錄。

一個(gè)企業(yè)的數(shù)據(jù)網(wǎng)格有很多數(shù)據(jù)產(chǎn)品。數(shù)據(jù)產(chǎn)品訂閱彼此的數(shù)據(jù)，這樣當(dāng)一個(gè)數(shù)據(jù)產(chǎn)品更改其數(shù)據(jù)時(shí)，此更改會使用更改數(shù)據(jù)捕獲和事件流主干傳達(dá)給其他數(shù)據(jù)產(chǎn)品。

最后，企業(yè)數(shù)據(jù)目錄(所有數(shù)據(jù)產(chǎn)品目錄和數(shù)據(jù)更改的同步聚合)用于使任何用戶或開發(fā)人員輕松查找、使用和管理整個(gè)企業(yè)的任何數(shù)據(jù)，同時(shí)也為理解提供了基礎(chǔ)整個(gè)企業(yè)的數(shù)據(jù)沿襲。

• Figure 1, Enterprise Data Mesh Architecture

我們將在本文中描述以下架構(gòu)模式：

• 變更數(shù)據(jù)捕獲 (CDC)
• 事件流主干(Event Streaming Backbone)
• 數(shù)據(jù)產(chǎn)品目錄 (Data Product Catalog )
• 企業(yè)數(shù)據(jù)產(chǎn)品目錄 (Enterprise Data Product Catalog )
• 不可變的變更/審計(jì)日志 (Immutable Change / Audit Log )

數(shù)據(jù)網(wǎng)格模式：變更數(shù)據(jù)捕獲

如今，很難在服務(wù)和應(yīng)用程序邊界之間安全、可靠和一致地交付數(shù)據(jù)。有兩種方法可以應(yīng)對這一挑戰(zhàn)。首先，可以使用“兩階段提交”(2PC) 等協(xié)議跨多個(gè)數(shù)據(jù)庫同步更新數(shù)據(jù)，但這種方法通常復(fù)雜且成本高，并且通常保留用于保持多個(gè)數(shù)據(jù)源同步絕對關(guān)鍵的情況.

第二種方法是立即更新主數(shù)據(jù)庫，同時(shí)在將來更新輔助數(shù)據(jù)庫(但不在事務(wù)范圍內(nèi))。當(dāng)更新主數(shù)據(jù)庫和輔助數(shù)據(jù)庫之間的時(shí)間跨度超過預(yù)期時(shí)，就會出現(xiàn)問題。

變更數(shù)據(jù)捕獲 (CDC) 是企業(yè)數(shù)據(jù)網(wǎng)格用來應(yīng)對這一挑戰(zhàn)的基礎(chǔ)組件。CDC 通過在數(shù)據(jù)庫的事務(wù)日志中捕獲和發(fā)布條目來工作，但最重要的是，它在原始事務(wù)之外不顯眼地執(zhí)行此操作。這意味著 CDC 透明地捕獲操作(或分析)數(shù)據(jù)的變化，而不會影響原始應(yīng)用程序或事務(wù)流。

(注意：這里有更多詳細(xì)信息供那些尋找有關(guān) CDC 如何在企業(yè)中工作的詳細(xì)信息的人使用)

• Figure 2, Data Mesh Pattern: Change Data Capture

但是 CDC 對捕獲的“事件”做了什么。在 Enterprise Data Mesh 中，它將事件發(fā)布到 Event Streaming Backbone(下一個(gè)模式)，以便在整個(gè)企業(yè)中分發(fā)。

數(shù)據(jù)網(wǎng)格模式：事件流主干

Event Streaming Backbone 在企業(yè)數(shù)據(jù)網(wǎng)格中分發(fā)事件。事件通常來自應(yīng)用程序、API，在我們的例子中，也來自 CDC。然而，特別重要的是，任何已發(fā)布的事件都可以被任何其他訂閱實(shí)體安全、可靠且近乎實(shí)時(shí)地使用。

• Figure 3, Data Mesh Pattern: Event Streaming Backbone

Event Streaming Backbone 中有幾個(gè)核心托管實(shí)體：

• 由 JSON 模式定義的事件分布在企業(yè)數(shù)據(jù)網(wǎng)格中。
• 主題用于在整個(gè)企業(yè)中排隊(duì)和分發(fā)事件;企業(yè)數(shù)據(jù)網(wǎng)格通過允許許多實(shí)體發(fā)布和使用事件來使用類似于隊(duì)列的眾所周知的主題。
• 生產(chǎn)者將事件發(fā)布到主題;企業(yè)數(shù)據(jù)網(wǎng)格中的生產(chǎn)者可能是 API、應(yīng)用程序或 CDC。
• 消費(fèi)者消費(fèi)來自主題的事件。企業(yè)數(shù)據(jù)網(wǎng)格中的消費(fèi)者可以是訂閱主題并在事件可用于處理時(shí)收到通知的任何實(shí)體或應(yīng)用程序。
• 事件流處理器可以按事件處理事件，也可以按時(shí)間窗口聚合事件，從而在企業(yè)數(shù)據(jù)網(wǎng)格中實(shí)現(xiàn)非常復(fù)雜和強(qiáng)大的分析技術(shù)。
• 經(jīng)紀(jì)人管理上述組件，以確保整個(gè)企業(yè)數(shù)據(jù)網(wǎng)格中安全可靠的事件通信。

數(shù)據(jù)網(wǎng)格模式：數(shù)據(jù)產(chǎn)品目錄

他們說，數(shù)據(jù)是新的黃金和采礦，它將帶來巨大的洞察力和財(cái)富。但在當(dāng)今的大多數(shù)企業(yè)中，數(shù)據(jù)散布在組織中的許多組中。銷售擁有客戶數(shù)據(jù)，分銷擁有供應(yīng)鏈，財(cái)務(wù)擁有交易和賬戶。

不幸的是，這使得查找數(shù)據(jù)變得非常困難，而且一旦找到，就更難以將它們整合在一起以做出全面的業(yè)務(wù)決策。結(jié)果是：決策緩慢、代價(jià)高昂且不知情。

數(shù)據(jù)產(chǎn)品目錄 (DPC) 包含有關(guān)數(shù)據(jù)產(chǎn)品的數(shù)據(jù)(“元數(shù)據(jù)”)的信息。DPC 提供的信息使任何授權(quán)人員或應(yīng)用程序都可以輕松地在企業(yè)數(shù)據(jù)網(wǎng)格中查找、查看和使用數(shù)據(jù)產(chǎn)品。DPC 提供了幾個(gè)好處：

• 通過啟用本地所有權(quán)和問責(zé)制，易于管理。
• 通過允許本地化和更快的決策制定，易于更改和發(fā)展。
• 易于查找、查看和使用數(shù)據(jù)，使任何(授權(quán))實(shí)體都可以輕松查找、查看和使用數(shù)據(jù)(即“自助服務(wù)”)。

• Figure 4, Data Mesh Pattern: Data Product Catalog

數(shù)據(jù)網(wǎng)格模式：企業(yè)數(shù)據(jù)產(chǎn)品目錄

企業(yè)數(shù)據(jù)產(chǎn)品目錄 (EDPC) 是一個(gè)從所有本地?cái)?shù)據(jù)產(chǎn)品目錄 (DPC) 聚合元數(shù)據(jù)的存儲庫。企業(yè)數(shù)據(jù)目錄用于存儲有關(guān)在企業(yè)數(shù)據(jù)網(wǎng)格中維護(hù)的所有數(shù)據(jù)的信息和統(tǒng)計(jì)數(shù)據(jù)(元數(shù)據(jù))，從而可以輕松查找、查看、使用和管理數(shù)據(jù)：

• 數(shù)據(jù)科學(xué)家使用 EDPC 來查找企業(yè)中可用于訓(xùn)練模型的數(shù)據(jù)位置。
• 業(yè)務(wù)用戶使用 EDPC 來查找業(yè)務(wù)決策所需的信息。
• 開發(fā)人員使用 EDPC 來了解其應(yīng)用程序所需的數(shù)據(jù)結(jié)構(gòu)。
• Governance Professionals 使用 EDPC 來理解和監(jiān)控整個(gè)企業(yè)的數(shù)據(jù)，從而在企業(yè)數(shù)據(jù)網(wǎng)格內(nèi)實(shí)現(xiàn)聯(lián)合計(jì)算治理。

• Figure 5, Data Mesh Pattern: Enterprise Data Product Catalog

數(shù)據(jù)網(wǎng)格模式：不可變變更/審計(jì)日志

了解數(shù)據(jù)的沿襲——定義為數(shù)據(jù)經(jīng)歷的變化的匯總列表——對于治理和監(jiān)管目的至關(guān)重要。為什么這很重要?考慮今天的一個(gè)常見情況：人工智能/機(jī)器學(xué)習(xí)的出現(xiàn)現(xiàn)在是企業(yè)必備的能力。數(shù)據(jù)科學(xué)家使用復(fù)雜的模型來支持和做出關(guān)鍵的業(yè)務(wù)決策。

然而，在許多企業(yè)中，尤其是醫(yī)療保健和金融企業(yè)，這些模型的實(shí)際可行性取決于滿足監(jiān)管機(jī)構(gòu)對可重復(fù)性和可追溯性要求的能力(更多信息可在此處和此處獲得)。不幸的是，大多數(shù)企業(yè)沒有能力以審計(jì)人員或監(jiān)管機(jī)構(gòu)要求的方式跟蹤數(shù)據(jù)沿襲。

企業(yè)數(shù)據(jù)網(wǎng)格的不可變變更/審計(jì)日志通過在企業(yè)數(shù)據(jù)網(wǎng)格中保留歷史數(shù)據(jù)更改以供未來審計(jì)和治理之用，從而滿足了這一需求。本地?cái)?shù)據(jù) 產(chǎn)品更改/審核日志會在數(shù)據(jù)發(fā)生任何數(shù)據(jù)更改時(shí)自動更新。然后將這些日志傳播到企業(yè)數(shù)據(jù)產(chǎn)品目錄 (EDPC)，以便整合企業(yè)中數(shù)據(jù)更改的歷史記錄。

換句話說，EDPC 包含企業(yè)數(shù)據(jù)網(wǎng)格中所有元素的數(shù)據(jù)沿襲。EDPC 使用此數(shù)據(jù)提供元數(shù)據(jù)的可搜索索引——其中明確包括對每個(gè)數(shù)據(jù)產(chǎn)品的不可變更改/審計(jì)日志的引用——允許輕松找到和確認(rèn)數(shù)據(jù)沿襲。

• Figure 6, Data Mesh Pattern: Immutable Change/Audit Log

結(jié)論性想法

企業(yè)數(shù)據(jù)網(wǎng)格正在成為實(shí)時(shí)數(shù)字企業(yè)的基礎(chǔ)推動者。架構(gòu)模式提供了一種既定的方式來描述數(shù)據(jù)網(wǎng)格交互。雖然沒有現(xiàn)成的可用工具，但構(gòu)建您自己的組織數(shù)據(jù)網(wǎng)格的第一步是了解啟用數(shù)據(jù)網(wǎng)格的基礎(chǔ)模式。

希望本文為您提供必要的洞察力來啟動您自己的企業(yè)數(shù)據(jù)網(wǎng)格!