[[427317]]

【51CTO.com快譯】最近的一項針對企業(yè)正在面臨的大數(shù)據(jù)挑戰(zhàn)的調(diào)查，揭露了一個有關(guān)數(shù)據(jù)使用的驚人事實：有38%的企業(yè)“缺乏”令人信服的合理方式，去使用他們持有的數(shù)據(jù);34%的公司沒有足夠成熟的流程，去持續(xù)處理大數(shù)據(jù);24%的公司甚至無法讓大數(shù)據(jù)轉(zhuǎn)換為可供最終用戶使用的有價值信息!無論該調(diào)查是否有所夸大其詞，至少它表明了許多企業(yè)并不知道自己可以對數(shù)據(jù)做什么、必須做什么、以及如何合理從客戶處收集數(shù)據(jù)。

可以說，在以數(shù)據(jù)為驅(qū)動的競爭格局中，忽視數(shù)據(jù)的價值，甚至無法充分發(fā)揮其潛力，對于組織來說都只會意味著災(zāi)難性的結(jié)局。許多組織往往在收集大量數(shù)據(jù)的過程中，不知道如何使用適當(dāng)?shù)牧鞒蹋瑏硖幚砗娃D(zhuǎn)化數(shù)據(jù)。

當(dāng)然，部分問題源自歷史遺留的數(shù)據(jù)管道。伴隨著數(shù)據(jù)在數(shù)據(jù)管道中從源頭移至目標(biāo)系統(tǒng)，每個階段對于數(shù)據(jù)的含義，以及數(shù)據(jù)的使用，都可能產(chǎn)生不連貫的數(shù)據(jù)視圖。這些會讓數(shù)據(jù)管道變得脆弱且難以迭代，進而使得組織在面對變化時，出現(xiàn)反應(yīng)上的遲緩。對此，我們值得采取的方式便是：DataOps。

什么是DataOps?

DataOps(即，數(shù)據(jù)運營的縮寫)是一種協(xié)作式數(shù)據(jù)管理方法，強調(diào)的是組織內(nèi)部各種數(shù)據(jù)管道的通信、集成和自動化。

與數(shù)據(jù)存儲管理不同，DataOps并非主要關(guān)注數(shù)據(jù)的“存儲”，而是數(shù)據(jù)的“交付”。也就是說，如何讓所有數(shù)據(jù)需求者都能夠輕松地獲得、訪問和使用數(shù)據(jù)。其管理的目標(biāo)是：創(chuàng)建可預(yù)測的數(shù)據(jù)、模型、以及相關(guān)組件的交付和變更管理，以便在整個組織內(nèi)和數(shù)據(jù)消費者中，更快地交付出有價值的信息。

為此，DataOps需要通過各項技術(shù)，來自動化數(shù)據(jù)的設(shè)計、部署、管理和交付，縮短數(shù)據(jù)分析的周期，進而改善其使用和提供的價值。在此基礎(chǔ)上，DataOps能夠大幅提高組織對于市場變化的響應(yīng)速度，以及應(yīng)對挑戰(zhàn)的能力。

DataOps能夠解決的挑戰(zhàn)和問題

大數(shù)據(jù)給我們帶來的最大好處莫過于，快速可靠的數(shù)據(jù)驅(qū)動和可實現(xiàn)的業(yè)務(wù)洞見。對此，各類組織和技術(shù)人員需要將DataOps與敏捷、DevOps和精益制造等方法實踐相結(jié)合，以應(yīng)對如下方面的數(shù)據(jù)挑戰(zhàn)：

• 速度

現(xiàn)代化的組織往往需要對來自不同源頭、不同形式的數(shù)據(jù)，持續(xù)進行清理、改進和再利用。只有經(jīng)過這樣復(fù)雜且漫長的過程，組織才能夠從那些快速發(fā)展的業(yè)務(wù)環(huán)境中，發(fā)掘出潛在的數(shù)據(jù)洞見。而DataOps恰好能夠從根本上提高此類洞見的發(fā)掘速度。

• 數(shù)據(jù)類型

有時，組織收集到的數(shù)據(jù)可能是非結(jié)構(gòu)化的格式。而此類數(shù)據(jù)源極有可能為新興的業(yè)務(wù)挑戰(zhàn)提供線索。因此，組織仍然以結(jié)構(gòu)化的格式，去處理數(shù)據(jù)的話，是遠遠不夠的。鑒于此類數(shù)據(jù)洞見提取的難度，DataOps能夠方便組織去更好地識別、收集和使用來自每個可用數(shù)據(jù)源的數(shù)據(jù)。

• 數(shù)據(jù)孤島

DataOps打破了組織內(nèi)部數(shù)據(jù)過于集中的孤島狀態(tài)。同時，它能夠通過構(gòu)建彈性系統(tǒng)，為需要訪問數(shù)據(jù)的每一方提供自助式的服務(wù)。也就是說，彈性系統(tǒng)能夠隨著組織的業(yè)務(wù)進行擴展，為數(shù)據(jù)用戶提供一種可預(yù)測的方式，實現(xiàn)對數(shù)據(jù)的按需查找和使用。

DataOps的業(yè)務(wù)優(yōu)勢

對于數(shù)據(jù)驅(qū)動型企業(yè)而言，他們需要盡快將數(shù)據(jù)交付給數(shù)據(jù)工程師、數(shù)據(jù)科學(xué)家、機器學(xué)習(xí)(ML)工程師，甚至客戶。而DataOps則能夠為他們帶來如下業(yè)務(wù)優(yōu)勢：

• 最大限度地利用數(shù)據(jù)

DataOps為包括：分析師、管理層、以及客戶在內(nèi)的所有數(shù)據(jù)用戶，提供自動化的數(shù)據(jù)交付，并在此過程中允許每個部門，從數(shù)據(jù)中提取最大的信息價值。顯然，它能夠提高組織的競爭力、面對變化的響應(yīng)能力、以及更高的投資回報率。

• 在正確的時間獲得正確的洞見

目前，大數(shù)據(jù)需要關(guān)注的一個顯著問題是，提供數(shù)據(jù)洞見的時效性。也就是說，過于延遲地提供正確的洞見，對于企業(yè)來說是沒有意義的。而DataOps能夠?qū)?shù)據(jù)快速地提供給需求方，以便更快地做出更明智的決策，使組織能夠快速地適應(yīng)市場的變化。

• 提高數(shù)據(jù)生產(chǎn)力

DataOps會使用自動化工具，將數(shù)據(jù)以自助操作的服務(wù)方式予以交付。它不但消除了數(shù)據(jù)請求和數(shù)據(jù)訪問之間的固有延遲，而且讓團隊能夠據(jù)此做出以數(shù)據(jù)為驅(qū)動的決策。同時，由于DataOps擺脫了各種需要手動進行數(shù)據(jù)管道變更的管理流程，因此組織能夠針對數(shù)據(jù)管道進行簡化、快速、且自動化的變更。

• 針對結(jié)果優(yōu)化的數(shù)據(jù)管道

DataOps在數(shù)據(jù)管道中加入了一個反饋循環(huán)，允許各種數(shù)據(jù)消費者識別他們所需的特定數(shù)據(jù)，并從中獲得定制的洞見。據(jù)此，每個團隊都可以使用這些洞見，來進一步降低成本，發(fā)現(xiàn)新的機會，并提高組織的盈利能力。

DataOps的原則

在技​​術(shù)方面，DataOps能夠在不影響數(shù)據(jù)分析的速度或質(zhì)量的基礎(chǔ)上，提高數(shù)據(jù)應(yīng)用的可擴展性。由于借鑒了DevOps的經(jīng)驗教訓(xùn)與實踐，因此DataOps在許多關(guān)鍵方面與DevOps高度重合。下面是DataOps的三個基本原則：

• 持續(xù)集成

由于DataOps能夠動態(tài)地識別、整理、集成和提供來自不同源頭的數(shù)據(jù)，因此新的數(shù)據(jù)會被DataOps自動集成到數(shù)據(jù)管道中，并使用AI/ML工具，提供給各個需求方。

DataOps的自動化完全簡化了數(shù)據(jù)從被發(fā)現(xiàn)到轉(zhuǎn)換、管理、洞察、以及定制的全過程。實際上，它可以將數(shù)據(jù)以實時流的形式，直接傳輸?shù)筋A(yù)測算法中，以便向用戶，特別是數(shù)據(jù)消費者提供即時的洞見。

這種經(jīng)過優(yōu)化的數(shù)據(jù)集成過程，確保了數(shù)據(jù)在被發(fā)現(xiàn)和利用的過程中，不會浪費過多的時間。

• 持續(xù)交付

根據(jù)規(guī)模效應(yīng)的理論，越多的人去訪問組織持有的數(shù)據(jù)，從中提取的洞見就越具有參考價值。不過，數(shù)據(jù)的可訪問性，取決于數(shù)據(jù)的治理。我們只有通過DataOps，在整個組織內(nèi)實施數(shù)據(jù)治理，才能保證數(shù)據(jù)能夠在安全、且保有隱私的前提下，提供可訪問性。

為了保證數(shù)據(jù)能夠以符合內(nèi)部數(shù)據(jù)質(zhì)量、以及數(shù)據(jù)屏蔽規(guī)則的協(xié)作方式，有目的性地交付給內(nèi)、外部數(shù)據(jù)消費者，我們通常需要使用智能化的數(shù)據(jù)平臺來實現(xiàn)。也就是說，只有當(dāng)數(shù)據(jù)的質(zhì)量、隱私和安全得到了保證時，各種相關(guān)方才有信心使用它，并從中獲得準(zhǔn)確的洞見，而不必?fù)?dān)心數(shù)據(jù)治理所帶來的影響。

• 持續(xù)部署

如今，各種欺詐檢測、AI聊天機器人、數(shù)字化銷售、以及供應(yīng)鏈管理等關(guān)鍵任務(wù)功能，都需要數(shù)據(jù)驅(qū)動型應(yīng)用，實時地根據(jù)最新可用的數(shù)據(jù)，來進行決策。而持續(xù)部署正是保證用戶與應(yīng)用能夠無縫訪問數(shù)據(jù)的前提條件。

DevOps與DataOps

雖然DataOps借鑒了DevOps的基本概念和操作流程，但是兩者之間仍然存在如下顯著的差異：

• 人員條件

盡管DataOps的從業(yè)者可能非常精通技術(shù)，但是他們需要更加專注于，為數(shù)據(jù)用戶創(chuàng)建算法、模型和視覺輔助等工具。同時，他們還應(yīng)當(dāng)具有可落地的軟件工程思維。

• 流程

雖然DevOps流程幾乎不會涉及到編排(orchestration)，但是DataOps流程則需要用到數(shù)據(jù)管道和分析開發(fā)的編排。

• 測試

與DevOps不同，DataOps會高度依賴數(shù)據(jù)屏蔽，來開展測試。因此，測試數(shù)據(jù)的管理就顯得至關(guān)重要了。此外，在部署之前，DataOps通常需要在數(shù)據(jù)管道和分析開發(fā)的過程中，測試和驗證數(shù)據(jù)。

• 工具

目前，DevOps已擁有成熟的工具生態(tài)系統(tǒng)，尤其體系在測試方面。而作為一種新的方法，DataOps通常需要團隊從頭開始構(gòu)建工具，或根據(jù)其特殊目的去定制DevOps工具。

DataOps平臺的演進

在數(shù)據(jù)分析的早期，ETL(提取、轉(zhuǎn)換、加載)工具已經(jīng)成為了管理大量導(dǎo)入數(shù)據(jù)的強大工具。然而，隨著數(shù)據(jù)的多樣性、準(zhǔn)確性、以及體量的激增，人們對于可擴展性和實時數(shù)據(jù)分析的需求，變得更加迫切。ETL工具與云計算資源的結(jié)合，雖然加快了數(shù)據(jù)的分析速度，然而，數(shù)據(jù)訪問的安全性仍然形式嚴(yán)峻。在此背景下，DataOps應(yīng)運而生。通過采用民主化的數(shù)據(jù)訪問(democratized data access)方式，所有數(shù)據(jù)需求方可以在組織數(shù)據(jù)治理策略的約束下，安全、優(yōu)質(zhì)地獲取數(shù)據(jù)洞見。

原文標(biāo)題：A Guide toDataOps: The New Age of Data Management，作者: Mir Alimanagement

【51CTO譯稿，合作站點轉(zhuǎn)載請注明原文譯者和出處為51CTO.com】