數(shù)據(jù)治理體系建設(shè)與實(shí)踐

一、數(shù)據(jù)治理建設(shè)路徑
1、業(yè)務(wù)數(shù)字化的目的是打造一體化的業(yè)務(wù)流、信息流與數(shù)據(jù)流

?從企業(yè)整體經(jīng)營(yíng)管理的角度,戰(zhàn)略制定及分解—領(lǐng)域業(yè)務(wù)目標(biāo)制定—業(yè)務(wù)方案設(shè)計(jì)—業(yè)務(wù)需求識(shí)別 & 信息系統(tǒng)功能及數(shù)據(jù)庫設(shè)計(jì)—數(shù)據(jù)匯聚及分析—業(yè)務(wù)目標(biāo)監(jiān)測(cè)及改善,這個(gè)過程會(huì)有層層信息耗散,全局?jǐn)?shù)據(jù)治理的目的就是利用體系機(jī)制保障最大程度減少這個(gè)耗散或補(bǔ)足耗散的部分,讓數(shù)據(jù)盡可能的還原企業(yè)的業(yè)務(wù)事實(shí)。
企業(yè)在 IT 規(guī)劃過程中,首先會(huì)做業(yè)務(wù)流梳理,表現(xiàn)為流程架構(gòu)、價(jià)值流或者能力框架;業(yè)務(wù)流中的相關(guān)信息流轉(zhuǎn),如表、證、單、書等,稱之為信息流;信息流中識(shí)別出數(shù)據(jù)對(duì)象,梳理數(shù)據(jù)關(guān)系,可以指導(dǎo)數(shù)字化系統(tǒng)建設(shè)。
但是企業(yè)在實(shí)際開展數(shù)字化過程中,人力資源、采購、生產(chǎn)、研發(fā)等每個(gè)領(lǐng)域都會(huì)有數(shù)字化訴求。業(yè)務(wù)人員和 IT 人員通過分析應(yīng)用訴求,把業(yè)務(wù)流轉(zhuǎn)和應(yīng)用需求相結(jié)合,進(jìn)行數(shù)據(jù)設(shè)計(jì),進(jìn)而形成新系統(tǒng)。因?yàn)?IT 建設(shè)是逐步開展的,業(yè)務(wù)人員的視角不同,實(shí)施人員和數(shù)據(jù)開發(fā)人員的理解各異,最終每個(gè)系統(tǒng)都會(huì)對(duì)數(shù)據(jù)有自己的局部理解,因此簡(jiǎn)單的把人力資源、采購、生產(chǎn)、研發(fā)等存量信息系統(tǒng)里面的數(shù)據(jù)拼到一起,是無法構(gòu)建出反映企業(yè)業(yè)務(wù)本質(zhì)的數(shù)據(jù)流或者數(shù)據(jù)孿生模型的。
數(shù)字化的數(shù)據(jù)如果無法反映業(yè)務(wù)全貌,那基于這些數(shù)據(jù)進(jìn)行加工也不可能得到正確的結(jié)果,因此需要通過對(duì)業(yè)務(wù)的理解進(jìn)行數(shù)據(jù)治理。
數(shù)據(jù)治理是從業(yè)務(wù)流到信息流、數(shù)據(jù)流、數(shù)據(jù)庫表的流轉(zhuǎn)。業(yè)務(wù)系統(tǒng)中的物理表字段,哪怕短期內(nèi)由于無法改變業(yè)務(wù)系統(tǒng)不能完成源頭治理,也要在數(shù)倉的 ODS 層完成治理,形成能還原業(yè)務(wù)本質(zhì)的數(shù)據(jù)映象。
數(shù)據(jù)映象描述的是業(yè)務(wù)過程中的業(yè)務(wù)細(xì)節(jié)。企業(yè)經(jīng)營(yíng)中戰(zhàn)略分解到各業(yè)務(wù)部門的經(jīng)營(yíng)目標(biāo)都會(huì)有相關(guān)的考核指標(biāo)。如果數(shù)據(jù)映象是真實(shí)的,那基于指標(biāo)體系做的業(yè)務(wù)分析就能更真實(shí)反應(yīng)業(yè)務(wù)階段結(jié)果,達(dá)成企業(yè)業(yè)務(wù)流、信息流、數(shù)據(jù)流的一致性,支撐企業(yè)從戰(zhàn)略規(guī)劃到目標(biāo)分解的監(jiān)控,最終實(shí)現(xiàn)數(shù)據(jù)價(jià)值的呈現(xiàn)。
總結(jié)來說,整個(gè)數(shù)據(jù)治理的核心動(dòng)作分為兩個(gè)部分,一個(gè)是業(yè)務(wù)數(shù)據(jù)的治理(形成真實(shí)數(shù)據(jù)映像),另一個(gè)是分析體系的治理(基于數(shù)據(jù)映像面向管控目標(biāo)做合理性的分析結(jié)構(gòu)設(shè)計(jì)及實(shí)現(xiàn))。?
2、典型的企業(yè)數(shù)字平臺(tái)框架

典型企業(yè)的數(shù)字平臺(tái)框架如上圖所示。
(1)業(yè)務(wù)系統(tǒng)作為局部數(shù)據(jù)映象或數(shù)據(jù)源。
(2)數(shù)據(jù)中臺(tái)做全面的數(shù)據(jù)匯聚與建模,數(shù)據(jù)中臺(tái)基于貼源層、明細(xì)層、匯總層、應(yīng)用層進(jìn)行分層,面向分析型需求由開發(fā)人員進(jìn)行數(shù)據(jù)建模。
(3)自助式數(shù)據(jù)消費(fèi)是面向業(yè)務(wù)分析師或者有一定業(yè)務(wù)理解能力的開發(fā)人員,他們會(huì)自助式的基于成熟的模型進(jìn)行組裝式的開發(fā)。
(4)智能決策包括駕駛艙、可視建模和智能應(yīng)用等。
從業(yè)務(wù)數(shù)據(jù)系統(tǒng)的數(shù)據(jù)源到分層的數(shù)據(jù)建模以及數(shù)據(jù)消費(fèi)的全過程,需要一系列的管理機(jī)制,包括數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)模型、數(shù)據(jù)質(zhì)量以及管理流程和機(jī)制,形成了一套體系化、規(guī)范化的方法,保證整個(gè)鏈路的暢通。
3、對(duì)數(shù)據(jù)治理核心內(nèi)容的理解

滴普對(duì)理解的數(shù)據(jù)治理核心內(nèi)容包括三塊:數(shù)據(jù)治理體系設(shè)計(jì),業(yè)務(wù)數(shù)據(jù)深化治理,分析數(shù)據(jù)體系設(shè)計(jì)。
(1)數(shù)據(jù)治理體系設(shè)計(jì)
數(shù)據(jù)治理體系設(shè)計(jì)主要涉及數(shù)據(jù)架構(gòu)、數(shù)據(jù)標(biāo)準(zhǔn)、主數(shù)據(jù)等該如何進(jìn)行治理動(dòng)作管理。首先基于業(yè)務(wù)系統(tǒng)和分析系統(tǒng)現(xiàn)狀,梳理一套機(jī)制并把該機(jī)制固化起來,但這只是一套文檔和理想態(tài)機(jī)制,需要與業(yè)務(wù)數(shù)據(jù)及分析數(shù)據(jù)體系的實(shí)際開展動(dòng)作進(jìn)行結(jié)合細(xì)化;同時(shí)建立聯(lián)合團(tuán)隊(duì)一起進(jìn)行一些專業(yè)性的數(shù)據(jù)治理活動(dòng),如建立數(shù)據(jù)目錄、數(shù)據(jù)標(biāo)準(zhǔn)等,構(gòu)建數(shù)據(jù)管理內(nèi)容的同步將能力轉(zhuǎn)移并固化在甲方身上。本質(zhì)上是通過體制機(jī)制、流程文件去固化企業(yè)的專項(xiàng)數(shù)據(jù)能力,以將數(shù)據(jù)治理作為一項(xiàng)持續(xù)性的工作開展下去。
當(dāng)然也會(huì)涉及到數(shù)據(jù)管理組織的設(shè)計(jì),組織設(shè)計(jì)是相對(duì)可大可小的事情,因?yàn)闀?huì)涉及到數(shù)據(jù)資產(chǎn)權(quán)限,業(yè)務(wù)部門,IT 部門等平臺(tái)部門。
(2)業(yè)務(wù)數(shù)據(jù)深化治理
這部分包括幾個(gè)比較核心的工作:
第一、 數(shù)據(jù)資產(chǎn)目錄
梳理方法上有自上而下、自下而上兩個(gè)方向。
自上而下:基于業(yè)務(wù)鏈條去識(shí)別每一個(gè)業(yè)務(wù)領(lǐng)域,比如制造、研發(fā)、生產(chǎn)、采購等的關(guān)鍵信息,這些信息有可能已經(jīng)在 IT 系統(tǒng)有留存,也有可能是一個(gè)線下紙質(zhì)的表單。數(shù)據(jù)資產(chǎn)目錄構(gòu)建要描述企業(yè)全部數(shù)據(jù)要素,但是系統(tǒng)的建設(shè)一定是落后于企業(yè)的管理訴求的,所以不能只是梳理企業(yè)既有的 IT 平臺(tái)里的數(shù)據(jù)要素,需要基于整個(gè)業(yè)務(wù)鏈條去梳理企業(yè)的數(shù)據(jù)要素,構(gòu)建數(shù)據(jù)資產(chǎn)目錄、進(jìn)行分級(jí)分類。
自下而上:因?yàn)閱渭兓跇I(yè)務(wù)鏈條有些業(yè)務(wù)細(xì)節(jié)可能會(huì)被忽略,所以需要基于存量的 IT 系統(tǒng)的數(shù)據(jù)庫表進(jìn)行盤點(diǎn)和映射作為補(bǔ)充。
通過自上而下從業(yè)務(wù)出發(fā),自下而上從數(shù)據(jù)庫表出發(fā),可以得到相對(duì)近似于企業(yè)數(shù)據(jù)資產(chǎn)全貌的數(shù)據(jù)資產(chǎn)目錄。數(shù)據(jù)資產(chǎn)目錄厘清了企業(yè)的業(yè)務(wù)數(shù)據(jù)資產(chǎn),它有兩個(gè)用途:
① 構(gòu)建業(yè)務(wù)友好的數(shù)據(jù)地圖。數(shù)據(jù)資產(chǎn)結(jié)構(gòu)劃分是基于業(yè)務(wù)線構(gòu)建的,會(huì)形成對(duì)業(yè)務(wù)非常友好的可視結(jié)構(gòu)。不論是當(dāng)前 IT 系統(tǒng)的庫表結(jié)構(gòu),還是識(shí)別出的數(shù)據(jù)對(duì)象實(shí)體以及未來的指標(biāo)標(biāo)簽都可以和它進(jìn)行關(guān)聯(lián)。可以給業(yè)務(wù)人員提供友好的數(shù)據(jù)資產(chǎn)入口,同時(shí)支撐高階的數(shù)據(jù)分析人員及數(shù)據(jù)開發(fā)人員找數(shù)。
② 劃分責(zé)任田。如果企業(yè)是自上而下進(jìn)行業(yè)務(wù)梳理的,會(huì)有從業(yè)務(wù)域到業(yè)務(wù)子域到整個(gè)業(yè)務(wù)對(duì)象的目錄映射,可以很容易的找到每一個(gè)數(shù)據(jù)的責(zé)任人,當(dāng)出現(xiàn)一些數(shù)據(jù)標(biāo)準(zhǔn)、跨領(lǐng)域的數(shù)據(jù)爭(zhēng)議的時(shí)候,可以起到劃分責(zé)任田的作用。
第二、數(shù)據(jù)模型
通過數(shù)據(jù)目錄可以知道有多少數(shù)據(jù)資產(chǎn),通過數(shù)據(jù)模型可以知道數(shù)據(jù)對(duì)象之間的關(guān)系。
數(shù)據(jù)模型包括概念模型、邏輯模型和物理模型。治理項(xiàng)目初始完成概念模型,只有對(duì)象和對(duì)象之間的關(guān)系,后續(xù)需持續(xù)進(jìn)行邏輯模型的建設(shè)(加入主外鍵、關(guān)鍵屬性)。在做專題的主數(shù)據(jù)治理需要實(shí)現(xiàn)數(shù)據(jù)清潔干凈,提升質(zhì)量,其中深化的邏輯模型設(shè)計(jì)是其重要支撐。
第三、數(shù)據(jù)標(biāo)準(zhǔn)設(shè)計(jì)
數(shù)據(jù)標(biāo)準(zhǔn)應(yīng)該是面向未來的業(yè)務(wù)需求去設(shè)計(jì)的,其不只是存量的字段長(zhǎng)度、表結(jié)構(gòu),還包括業(yè)務(wù)規(guī)則、業(yè)務(wù)含義、業(yè)務(wù)的管理角色等相關(guān)標(biāo)準(zhǔn)。有的數(shù)據(jù)標(biāo)準(zhǔn)是面向增量數(shù)據(jù)結(jié)構(gòu)的,比如可以用數(shù)據(jù)標(biāo)準(zhǔn)去約束數(shù)倉內(nèi)的增量的數(shù)據(jù)變更或者新增的 IT 系統(tǒng)的數(shù)據(jù)結(jié)構(gòu)。但是對(duì)于存量系統(tǒng)來說,其數(shù)據(jù)結(jié)構(gòu)可能和數(shù)據(jù)標(biāo)準(zhǔn)存在差異,如果強(qiáng)制存量 IT 系統(tǒng)修改,短時(shí)間是不可行的,通常可以通過建立映射關(guān)系解決,以兼顧業(yè)務(wù)連續(xù)性需求及面向未來業(yè)務(wù)的合理性。
第四、數(shù)據(jù)分布定義
盤點(diǎn)數(shù)據(jù)標(biāo)準(zhǔn)在存量的業(yè)務(wù)系統(tǒng)包括數(shù)倉內(nèi)的分布情況。有些分布會(huì)極其復(fù)雜,如有的制造業(yè)企業(yè)有七八十個(gè)系統(tǒng),每個(gè)系統(tǒng)各管一個(gè)業(yè)務(wù)段,數(shù)據(jù)分布相當(dāng)繁雜,可能單一屬性分布在十幾個(gè)系統(tǒng)和幾十張表中。
識(shí)別完數(shù)據(jù)分布以后,還要識(shí)別可信數(shù)據(jù)源。比如從 20 個(gè)數(shù)據(jù)源里面定義 TOP5 的可信數(shù)據(jù)源,TOP5 的可信數(shù)據(jù)源里面,可能建立交集、并集、篩除等關(guān)系。
第五、數(shù)據(jù)質(zhì)量改善
開展專項(xiàng)數(shù)據(jù)治理,一方面是標(biāo)準(zhǔn)比對(duì);另一方面,對(duì)主數(shù)據(jù)和主數(shù)據(jù)相關(guān)的重要交易數(shù)據(jù)做關(guān)鍵屬性洞察。
通過業(yè)務(wù)資產(chǎn)梳理,可以收集業(yè)務(wù)人員以及 IT 人員遇到的問題和困難,并對(duì)其進(jìn)行根因分析,制定數(shù)據(jù)探查的規(guī)則以識(shí)別數(shù)據(jù)問題。再進(jìn)一步分析這些問題到底是業(yè)務(wù)問題、數(shù)據(jù)流轉(zhuǎn)的問題、系統(tǒng)應(yīng)用功能問題,還是數(shù)據(jù)結(jié)構(gòu)和數(shù)據(jù)標(biāo)準(zhǔn)本身執(zhí)行不到位的問題,并給出改善建議。如短期內(nèi)通過映射關(guān)系解決,長(zhǎng)期內(nèi)希望通過業(yè)務(wù)及數(shù)據(jù)管理動(dòng)作進(jìn)行改善,因?yàn)闃I(yè)務(wù)及數(shù)據(jù)管理動(dòng)作才是數(shù)據(jù)質(zhì)量產(chǎn)生的源頭。
(3)分析數(shù)據(jù)體系設(shè)計(jì)
分析數(shù)據(jù)體系分為兩個(gè)部分。
第一、厘清分析數(shù)據(jù)資產(chǎn)
包括兩部分:
① 指標(biāo)管理體系。首先做存量分析建設(shè),存量就是各個(gè)業(yè)務(wù)部門已經(jīng)在使用的系統(tǒng)、報(bào)表、指標(biāo),同一個(gè)指標(biāo)可能有多個(gè)部門在用。將這些指標(biāo)收集起來,做結(jié)構(gòu)化、標(biāo)準(zhǔn)化,包括指標(biāo)的聚合、收斂、規(guī)則定義,叫做指標(biāo)存量標(biāo)準(zhǔn)化設(shè)計(jì)。
② 運(yùn)營(yíng)績(jī)效指標(biāo)設(shè)計(jì)。如果企業(yè)本身處于管理變革階段,單個(gè)領(lǐng)域業(yè)務(wù)方向的變化會(huì)牽引出新的考核體系。可以基于前瞻性的考核體系設(shè)計(jì)一套指標(biāo)體系,牽引管理變革落地的方向。另外,一些行業(yè)實(shí)踐的成套體系的指標(biāo)可以借鑒(例如 IPD、MTL),進(jìn)行企業(yè)內(nèi)部管理的優(yōu)化,這些內(nèi)容屬于運(yùn)營(yíng)績(jī)效指標(biāo)設(shè)計(jì)。
第二、數(shù)據(jù)能力供給設(shè)計(jì)
分析數(shù)據(jù)體系除去指標(biāo),還有比如標(biāo)簽、算法模型,如制造業(yè)的庫存優(yōu)化分析等算法模型、車聯(lián)網(wǎng)的充電模型等高階數(shù)據(jù)應(yīng)用的設(shè)計(jì),定義為數(shù)據(jù)能力供給設(shè)計(jì)。
4、數(shù)據(jù)治理開展路徑

數(shù)據(jù)治理開展路徑,有如下的兩部分組成:
第一部分,治理活動(dòng)。
首先以數(shù)據(jù)盤點(diǎn)為切入點(diǎn),形成覆蓋企業(yè)業(yè)務(wù)全域的數(shù)據(jù)資產(chǎn)地圖。數(shù)倉一般是按照 FSLDM 模型的理念構(gòu)建,雖然對(duì)于開發(fā)人員非常友好但是對(duì)業(yè)務(wù)的可讀性相對(duì)較低,必須基于業(yè)務(wù)友好的視角做數(shù)據(jù)盤點(diǎn)和建立高可讀性的資產(chǎn)地圖。
資產(chǎn)地圖首先需要做資產(chǎn)的價(jià)值排序和痛點(diǎn)排序以確定哪些資產(chǎn)優(yōu)先治理。排序有兩種視角,一種是按主題,比如客戶主數(shù)據(jù),供應(yīng)商主數(shù)據(jù)以及和它相關(guān)的重要的數(shù)據(jù);還有一種是按業(yè)務(wù)域,比如采購域、生產(chǎn)域、財(cái)務(wù)域。
資產(chǎn)地圖的進(jìn)一步的治理是做標(biāo)準(zhǔn)化、質(zhì)檢改善。以采購域?yàn)槔霾少徲虻臄?shù)據(jù)標(biāo)準(zhǔn)的設(shè)計(jì),做存量和增量的映射和規(guī)則的執(zhí)行。完成后,單域的數(shù)據(jù)質(zhì)量和清潔度都得到提升,然后基于數(shù)據(jù)標(biāo)準(zhǔn)約束信息系統(tǒng)的改造。從分析側(cè)來說,前端數(shù)據(jù)整合規(guī)則的高質(zhì)量定義可以極大的減輕定位數(shù)據(jù)、ETL 清洗、ODS 層到明細(xì)層的設(shè)計(jì)工作。
最后一步是數(shù)據(jù)的共享分發(fā)和數(shù)據(jù)分析場(chǎng)景的建設(shè)。共享分發(fā)可以是基于原生的業(yè)務(wù)形態(tài)、業(yè)務(wù)系統(tǒng)數(shù)據(jù)的分發(fā),也可以是指標(biāo)、報(bào)表、標(biāo)簽的分發(fā)。
第二部分,外部賦能。
首先搭建數(shù)據(jù)治理體系框架。第一步建立組織,比如先找到資產(chǎn)管理員、數(shù)據(jù)平臺(tái)管理員、業(yè)務(wù)分析師這樣三個(gè)角色,就可以啟動(dòng)一些核心的活動(dòng),把相關(guān)的制度模板,如數(shù)據(jù)共享、數(shù)據(jù)權(quán)屬設(shè)計(jì)、增量數(shù)據(jù)的標(biāo)準(zhǔn)約束和審批流程等體系框架搭建起來。
數(shù)據(jù)治理體系框架搭建后,進(jìn)行數(shù)據(jù)資產(chǎn)的盤點(diǎn),完全域數(shù)據(jù)資產(chǎn)盤點(diǎn)是迭代更新的過程。數(shù)據(jù)資產(chǎn)是為了反映業(yè)務(wù)的數(shù)字映像,因?yàn)闃I(yè)務(wù)會(huì)發(fā)生變化,所以需要沉淀能力形成一套方法和模板。后面每隔一定時(shí)間迭代一次,根據(jù)業(yè)務(wù)環(huán)節(jié)產(chǎn)生的業(yè)務(wù)變化刷新資產(chǎn)目錄。
有了體系框架、數(shù)據(jù)架構(gòu)和方法賦能,就可以開展重點(diǎn)專題的治理,比如從 L3 業(yè)務(wù)對(duì)象(概念實(shí)體)的識(shí)別,到邏輯側(cè)及物理側(cè)的映射,最后在價(jià)值呈現(xiàn)上做指標(biāo)算法、數(shù)據(jù)共享機(jī)制構(gòu)建(需要數(shù)據(jù)管理平臺(tái)和數(shù)據(jù)應(yīng)用平臺(tái)支撐)。
5、業(yè)務(wù)數(shù)據(jù)治理工作的起點(diǎn)-數(shù)據(jù)資產(chǎn)盤點(diǎn)
數(shù)據(jù)治理工作的核心抓手是數(shù)據(jù)資產(chǎn),所有的標(biāo)準(zhǔn)、質(zhì)量、安全都是構(gòu)建在數(shù)據(jù)資產(chǎn)上面的。
以某制造業(yè)數(shù)據(jù)資產(chǎn)盤點(diǎn)為例,它的生產(chǎn)過程,從新產(chǎn)品導(dǎo)入、生產(chǎn)計(jì)劃、制造過程,工藝管理、物流倉儲(chǔ)交付到產(chǎn)品退貨,構(gòu)成了生產(chǎn)域。通過生產(chǎn)運(yùn)營(yíng)的業(yè)務(wù)活動(dòng)識(shí)別出關(guān)鍵的信息對(duì)象,稱為業(yè)務(wù)對(duì)象。
L1 可以復(fù)制企業(yè)的自然職能領(lǐng)域,如果企業(yè)的流程 IT 部門有業(yè)務(wù)架構(gòu)或者是流程架構(gòu),可以直接參考其結(jié)構(gòu),便于業(yè)務(wù)人員的感知;L2 基于每個(gè)業(yè)務(wù)過程識(shí)別出來對(duì)象進(jìn)行偏向于數(shù)據(jù)本身的聚合,既考慮業(yè)務(wù)可識(shí)別性,又考慮數(shù)據(jù)本身的聚合性。
在梳理資產(chǎn)目錄過程中,根據(jù)對(duì)象和業(yè)務(wù)的關(guān)系可以比較粗顆粒的畫出對(duì)象之間的關(guān)系,稱為概念模型,它僅有 1:1、N:N、 1:N 的三種關(guān)系,不承載實(shí)體和屬性。基于概念模型,我們可以衍生出細(xì)分領(lǐng)域的邏輯模型和物理模型設(shè)計(jì)。
存量信息系統(tǒng)中,有了數(shù)據(jù)資產(chǎn)目錄和數(shù)據(jù)之間的關(guān)系后,還需要統(tǒng)計(jì)數(shù)據(jù)在信息系統(tǒng)之間的分布以及數(shù)據(jù)在整個(gè)業(yè)務(wù)域的流向圖。
數(shù)據(jù)資產(chǎn)盤點(diǎn)是整個(gè)數(shù)據(jù)工作的核心抓手和起點(diǎn)。
6、針對(duì)重點(diǎn)領(lǐng)域-分階段開展數(shù)據(jù)資產(chǎn)深化定義

數(shù)據(jù)資產(chǎn)目錄到 L3 層是業(yè)務(wù)分類結(jié)構(gòu),如上圖從銷售、零售管理到客戶,是業(yè)務(wù)人員一看就明晰的結(jié)構(gòu)。
但 L3 層是一個(gè)偏概念性的東西,需要填充更多的屬性形成邏輯實(shí)體。也就是將概念實(shí)體切割成邏輯實(shí)體和邏輯屬性。
再往下就是物理表的映射。邏輯實(shí)體和存量的物理表的區(qū)別在于,邏輯實(shí)體在業(yè)務(wù)側(cè)承載更多的業(yè)務(wù)細(xì)節(jié),但是系統(tǒng)表的數(shù)據(jù)結(jié)構(gòu)設(shè)計(jì)還有性能上的考慮,數(shù)據(jù)庫的性能、讀寫的性能、以及冗余字段。
7、基于數(shù)據(jù)資產(chǎn)目錄的數(shù)據(jù)認(rèn)責(zé)

不論是數(shù)據(jù)平臺(tái)還是數(shù)據(jù)資產(chǎn)的目錄結(jié)構(gòu),都會(huì)關(guān)心數(shù)據(jù)資產(chǎn)認(rèn)責(zé),數(shù)據(jù)的所有者是誰,數(shù)據(jù)的變更需要找誰,需要進(jìn)行相應(yīng)角色的定義,比如業(yè)務(wù)數(shù)據(jù)的定義責(zé)任人,系統(tǒng)管理責(zé)任人,數(shù)據(jù)錄入責(zé)任人,并形成類似這樣一個(gè)矩陣表。
責(zé)任人的認(rèn)定,在業(yè)務(wù)數(shù)據(jù),到屬性級(jí)別是比較理想的顆粒度。但是屬性級(jí)別設(shè)置責(zé)任人可能設(shè)置工作比較繁重,所以實(shí)際在開展的時(shí)候,一般會(huì)在 L3 層設(shè)置它的管理權(quán)責(zé)。如果短時(shí)間內(nèi)涉及到一些比較復(fù)雜、跨領(lǐng)域的數(shù)據(jù),或者權(quán)責(zé)難以厘清的數(shù)據(jù),我們可以再往上推到 L2 層去定義,后續(xù)看情況再細(xì)化。
8、數(shù)據(jù)治理的落地平臺(tái)支撐

以上是數(shù)據(jù)治理的開展路徑以及核心的數(shù)據(jù)資產(chǎn)工作部分。數(shù)據(jù)資產(chǎn)目錄設(shè)計(jì)、數(shù)據(jù)模型、數(shù)據(jù)標(biāo)準(zhǔn),這些數(shù)據(jù)管理動(dòng)作需要有一個(gè) IT 平臺(tái)去落地,滴普提供一站式的數(shù)據(jù)智能服務(wù)的平臺(tái),包括從數(shù)據(jù)集成到數(shù)據(jù)治理(數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)質(zhì)量、數(shù)據(jù)安全等),數(shù)據(jù)資源的開放和共享。
二、數(shù)據(jù)治理實(shí)踐
下面是一些案例的介紹。
1、某食品加工企業(yè)報(bào)表應(yīng)用驅(qū)動(dòng)的數(shù)據(jù)治理咨詢交付路徑
客戶的 CIO 本身有多年頭部咨詢公司的 IT 咨詢規(guī)劃經(jīng)歷,對(duì)企業(yè)信息化及數(shù)據(jù)管理有比較深的理解,為了兼顧企業(yè)長(zhǎng)期的數(shù)據(jù)治理能力構(gòu)建及中短期的業(yè)務(wù)價(jià)值體驗(yàn),所以這個(gè)項(xiàng)目就分成了兩個(gè)部分。
(1)數(shù)據(jù)治理體系設(shè)計(jì)。包括現(xiàn)狀診斷及體制機(jī)制設(shè)計(jì),以及前面講到的數(shù)據(jù)目錄構(gòu)建、標(biāo)準(zhǔn)設(shè)計(jì),屬于業(yè)務(wù)數(shù)據(jù)治理。
(2)指標(biāo)體系的設(shè)計(jì)。指標(biāo)體系對(duì)比較核心的管理部門,做全量指標(biāo)體系的盤點(diǎn)和結(jié)構(gòu)化、標(biāo)準(zhǔn)化的設(shè)計(jì)。針對(duì)某一個(gè)比較強(qiáng)勢(shì)有價(jià)值承接的業(yè)務(wù)板塊,做指標(biāo)的定義和拆解,在物理表上做面向大屏的主題專題庫的設(shè)計(jì)。
這里可以理解為兩塊,一塊用來在業(yè)務(wù)側(cè)呈現(xiàn)價(jià)值,另一塊是通過數(shù)據(jù)定義和設(shè)計(jì)去支撐指標(biāo)的高質(zhì)量實(shí)現(xiàn)。這樣既實(shí)現(xiàn)了業(yè)務(wù)部門可感知的價(jià)值,又實(shí)現(xiàn)了 IT 部門基于長(zhǎng)遠(yuǎn)考慮的夯實(shí)數(shù)據(jù)治理基礎(chǔ)目的。
2、某制造企業(yè)數(shù)據(jù)治理的起點(diǎn)-數(shù)據(jù)盤點(diǎn) & 治理體系設(shè)計(jì)
該制造企業(yè)是一個(gè)整車制造商,這些年做了很多數(shù)據(jù)治理的項(xiàng)目,這個(gè)體系設(shè)計(jì)&數(shù)據(jù)盤點(diǎn)項(xiàng)目是他們整個(gè)體系的起點(diǎn)。
在項(xiàng)目之前,客戶做過主數(shù)據(jù)項(xiàng)目一期,但是他們比較關(guān)心的客戶主數(shù)據(jù),主數(shù)據(jù)下面是有數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)模型,包括全鏈路的數(shù)據(jù)關(guān)系。兩三年后,企業(yè)的系統(tǒng)變了,業(yè)務(wù)也發(fā)生一些變化,以前做的主數(shù)據(jù)就有了很大的偏差。需要一套數(shù)據(jù)治理體系進(jìn)行持續(xù)數(shù)據(jù)治理運(yùn)營(yíng),所以就啟動(dòng)了這個(gè)數(shù)據(jù)規(guī)范化的項(xiàng)目。
客戶在這個(gè)項(xiàng)目做兩件事,一個(gè)是數(shù)據(jù)治理標(biāo)準(zhǔn)化體系構(gòu)建,包括標(biāo)準(zhǔn)設(shè)計(jì)、模型構(gòu)建、數(shù)據(jù)質(zhì)量管理、流程和組織設(shè)計(jì)等。還有一個(gè)是數(shù)據(jù)目錄設(shè)計(jì),做全公司范圍的數(shù)據(jù)資產(chǎn)盤點(diǎn)到 L3 級(jí)的業(yè)務(wù)對(duì)象,作為后續(xù)數(shù)據(jù)治理持續(xù)開展的路徑和索引。
還有一塊比較核心內(nèi)容,不屬于數(shù)據(jù)治理范疇。因?yàn)檫@家企業(yè)是沒有流程 IT 部門的,IT 負(fù)責(zé)人之前對(duì)業(yè)務(wù)全貌和整體流向一直不是很清楚。我們幫助企業(yè)基于對(duì)現(xiàn)有業(yè)務(wù)的理解做了一個(gè)業(yè)務(wù)全景圖。但是這個(gè)項(xiàng)目到最后,CIO 非常關(guān)心這個(gè)業(yè)務(wù)全景圖,以此看到從業(yè)務(wù)全景圖到數(shù)據(jù)的映射,也可以指導(dǎo)每年的 IT 規(guī)劃。
三、問答環(huán)節(jié)
Q1:主數(shù)據(jù)在數(shù)據(jù)治理的方法,或者是數(shù)據(jù)標(biāo)準(zhǔn)的價(jià)值?
A1:為什么有主數(shù)據(jù)?因?yàn)橛行┢髽I(yè)的業(yè)務(wù)鏈路特別長(zhǎng),特別像制造業(yè)的產(chǎn)品主數(shù)據(jù),客戶主數(shù)據(jù)。10 年前,大部分企業(yè)做數(shù)據(jù)治理就是做主數(shù)據(jù)治理,進(jìn)行跨業(yè)務(wù)域跨系統(tǒng)的數(shù)據(jù)的整合和取用,形成對(duì)主數(shù)據(jù)的單一真實(shí)映象并進(jìn)行分發(fā)。
現(xiàn)在的數(shù)據(jù)平臺(tái)在慢慢地弱化主數(shù)據(jù)的概念,因?yàn)閿?shù)據(jù)平臺(tái)里面內(nèi)置的功能和方法,可以支撐主數(shù)據(jù)需要的核心能力。主數(shù)據(jù)是跨業(yè)務(wù)域、跨系統(tǒng)的數(shù)據(jù)的整合分發(fā),現(xiàn)在企業(yè)數(shù)據(jù)管理的范圍已經(jīng)不僅僅局限于主數(shù)據(jù)了(也包括很多重要的交易數(shù)據(jù)),越來越偏向更廣泛的數(shù)據(jù)治理,不需要特別去考慮主數(shù)據(jù)專項(xiàng)的方法論,滴普前面講到的一些方法,其實(shí)就可以覆蓋原有主數(shù)據(jù)的核心過程。
數(shù)據(jù)標(biāo)準(zhǔn)最大的作用就是幫助系統(tǒng)里面的數(shù)據(jù)更真實(shí)地反映業(yè)務(wù)。數(shù)據(jù)標(biāo)準(zhǔn)來源于業(yè)務(wù)人員、IT 人員達(dá)成的一致性對(duì)數(shù)據(jù)的理解,并約束增量的業(yè)務(wù)。讓企業(yè)的數(shù)據(jù)源頭慢慢地往越來越貼合真實(shí)業(yè)務(wù)的方向走,就是數(shù)據(jù)標(biāo)準(zhǔn)最大的價(jià)值。
Q2:從不同業(yè)務(wù)系統(tǒng)做完數(shù)據(jù)治理后,要再形成一個(gè)新的數(shù)據(jù)庫嗎?或者是要做一層知識(shí)圖譜的結(jié)構(gòu)?
A2:做完數(shù)據(jù)治理工作短時(shí)間內(nèi)很難得到一個(gè)全新的數(shù)據(jù)庫,短時(shí)間內(nèi)它可能就是一個(gè)標(biāo)準(zhǔn)。從制定標(biāo)準(zhǔn)到約束源頭的數(shù)據(jù)庫去改造,需要一個(gè)漸進(jìn)的過程。當(dāng)然未來方向上,還是需要重新形成一層選定的數(shù)據(jù)層,承載治理后的清潔數(shù)據(jù)。但是最終,如果源頭業(yè)務(wù)系統(tǒng)已經(jīng)按照數(shù)據(jù)標(biāo)準(zhǔn)逐漸地替換(通過系統(tǒng)的功能演進(jìn)或生命周期更換掉),已經(jīng)比如過四五年以后全部都符合數(shù)據(jù)標(biāo)準(zhǔn)了,也就完成了數(shù)據(jù)治理。
Q3:數(shù)據(jù)標(biāo)準(zhǔn)制定后在原業(yè)務(wù)系統(tǒng)無法落地怎么辦?
A3:不能用短期的時(shí)效性去看數(shù)據(jù)標(biāo)準(zhǔn)落地,一定要看長(zhǎng)期性的效果。數(shù)據(jù)標(biāo)準(zhǔn)解決的是兩件事情。對(duì)于存量的,特別是很多生產(chǎn)制造企業(yè),業(yè)務(wù)系統(tǒng)對(duì)于生產(chǎn)過程非常重要,建議還是采取映射的結(jié)構(gòu),幫助企業(yè)更清晰地獲取現(xiàn)有的數(shù)據(jù)結(jié)構(gòu),不能一下子要求業(yè)務(wù)系統(tǒng)按標(biāo)準(zhǔn)馬上去改造。對(duì)于增量的數(shù)據(jù)結(jié)構(gòu),并通過數(shù)據(jù)平臺(tái)的校核功能,在業(yè)務(wù)系統(tǒng)功能變更或新增的時(shí)候進(jìn)行數(shù)據(jù)表的比對(duì),哪幾條不符合必須按標(biāo)準(zhǔn)改造。存量的不建議強(qiáng)行去改造(除非有高層的強(qiáng)力支持),會(huì)受到業(yè)務(wù)的極大反彈。
Q4:數(shù)據(jù)治理工作的價(jià)值或者 KPI 怎么量化?
A4:一種是通過企業(yè)的數(shù)字化或信息化場(chǎng)景切入,比如企業(yè)正在做業(yè)財(cái)一體化的項(xiàng)目、在做大型軟件包的更替,要和周邊的數(shù)據(jù)做交互。那么數(shù)據(jù)治理的價(jià)值就是幫助軟件包更好地和周邊數(shù)據(jù)的交互,或者獲取更清晰的其他周邊系統(tǒng)的數(shù)據(jù)結(jié)構(gòu)。這是一種支撐大型軟件包的落地效果的價(jià)值。
還有一種是大部分企業(yè)在做的中臺(tái)可視化涉及的指標(biāo)、標(biāo)簽算法。比如財(cái)務(wù)部門以前出分析結(jié)果很慢,幫它做準(zhǔn)做快,這就是價(jià)值的體現(xiàn)。
再有一種,如果數(shù)據(jù)治理后期,資產(chǎn)形成相關(guān)的服務(wù)以后,可以通過資產(chǎn)服務(wù)的調(diào)用,包括復(fù)用性、資產(chǎn)價(jià)值本身的評(píng)估,通過前端的調(diào)用性和對(duì)業(yè)務(wù)應(yīng)用的貢獻(xiàn)去計(jì)算價(jià)值。




































