隨著我國數(shù)字經(jīng)濟(jì)的蓬勃發(fā)展，大數(shù)據(jù)已經(jīng)成為推動社會發(fā)展和企業(yè)競爭的重要資源，數(shù)據(jù)要素也被提升到了前所未有的高度。然而，面對海量的數(shù)據(jù)資源，如何高效管理和有效利用，成為眾多企業(yè)亟待解決的一道難題。

一、數(shù)據(jù)治理“三字經(jīng)”概要

2020年，筆者曾對所負(fù)責(zé)的集團(tuán)級數(shù)據(jù)治理工作進(jìn)行了全面的梳理和總結(jié)，并結(jié)合個人近十年的數(shù)據(jù)治理經(jīng)驗(yàn)，匯編成《數(shù)據(jù)治理“三字經(jīng)”》第一版。

今年，筆者又對數(shù)據(jù)治理進(jìn)一步總結(jié)優(yōu)化，擴(kuò)展并豐富了數(shù)據(jù)治理方法論和實(shí)踐內(nèi)容，形成了更具系統(tǒng)性和全面性的《數(shù)據(jù)治理“三字經(jīng)”》第二版，期望能給數(shù)據(jù)治理領(lǐng)域工作的同仁們帶來一些思考和啟示。

數(shù)據(jù)治理“三字經(jīng)”解讀

《數(shù)據(jù)治理“三字經(jīng)”》這首短詩雖然精煉，但卻包含了大量的信息，每一句都猶如一篇獨(dú)立的文章，描繪了一個個既充滿挑戰(zhàn)又充滿喜悅的治理歷程。因此，在考慮到篇幅有限的情況下，筆者將主要分享和解讀其中的概要思想。

制定數(shù)據(jù)治理戰(zhàn)略目標(biāo)，統(tǒng)籌頂層藍(lán)圖規(guī)劃

? 數(shù)之初，量本小

在數(shù)據(jù)發(fā)展的初期，各個行業(yè)的數(shù)據(jù)量相對較小，數(shù)據(jù)類型也相對較為簡單。

? 猛增長，遇瓶頸

由于數(shù)字化技術(shù)的飛速發(fā)展、互聯(lián)網(wǎng)的普及、移動設(shè)備的廣泛應(yīng)用，以及社交媒體、物聯(lián)網(wǎng)和傳感器等新興技術(shù)的推動，全球數(shù)據(jù)量呈指數(shù)級增長。許多企業(yè)的數(shù)據(jù)規(guī)模劇增，這些海量數(shù)據(jù)在帶來巨大價值的同時，也給數(shù)據(jù)管理和利用帶來了新的挑戰(zhàn)。

? 缺管理，實(shí)難控

當(dāng)企業(yè)數(shù)據(jù)發(fā)展到一定規(guī)模時，由于缺乏有效的數(shù)據(jù)管理手段，往往會引發(fā)一系列問題，例如數(shù)據(jù)獲取困難、數(shù)據(jù)理解不準(zhǔn)確、數(shù)據(jù)標(biāo)準(zhǔn)不一致、數(shù)據(jù)管理效率低下以及數(shù)據(jù)管理成本高昂等。這些問題不僅增加了企業(yè)的運(yùn)營壓力，也可能導(dǎo)致企業(yè)的數(shù)據(jù)價值難以充分釋放。

? 若不治，隨可崩

如果未能及時進(jìn)行數(shù)據(jù)治理，大數(shù)據(jù)平臺和數(shù)據(jù)業(yè)務(wù)可能會面臨隨時崩潰的風(fēng)險。例如，質(zhì)量不高的數(shù)據(jù)會誤導(dǎo)企業(yè)管理者作出錯誤的經(jīng)營決策，過多的數(shù)據(jù)資源會導(dǎo)致大數(shù)據(jù)平臺集群的算力和存儲資源占用率過高，從而在瞬間引發(fā)資源耗盡的問題，使平臺和業(yè)務(wù)陷入癱瘓。

? 若廣治，懼其繁

隨著各種數(shù)據(jù)問題接踵而至，企業(yè)感到困擾和頭疼。然而，試圖一次性解決所有問題是不現(xiàn)實(shí)的。

? 治之道，貴以專

進(jìn)行數(shù)據(jù)治理需要專業(yè)的知識和方法，而且最好能夠盡早實(shí)施。為了確保數(shù)據(jù)管理活動始終處于規(guī)范、有序和可控的狀態(tài)，需要制定全面而清晰的數(shù)據(jù)治理體系，包括戰(zhàn)略規(guī)劃、機(jī)制構(gòu)建、措施實(shí)施和工具建設(shè)等各個方面。此外，專業(yè)的團(tuán)隊(duì)也是成功進(jìn)行數(shù)據(jù)治理的重要因素之一。

? 高層挺，強(qiáng)執(zhí)行

數(shù)據(jù)治理是一項(xiàng)一把手工程，旨在從企業(yè)高層直接引領(lǐng)并推動數(shù)據(jù)管理和應(yīng)用工作。它的實(shí)施與公司高層的認(rèn)可和支持密不可分，因?yàn)橹挥性诟邔宇I(lǐng)導(dǎo)的大力支持下，數(shù)據(jù)治理項(xiàng)目才能獲得所需的資源和預(yù)算，進(jìn)而協(xié)調(diào)并推動其他部門和團(tuán)隊(duì)積極參與和配合數(shù)據(jù)治理工作。因此，公司高層的支持是數(shù)據(jù)治理項(xiàng)目成功的關(guān)鍵保障。

? 定戰(zhàn)略，樹文化

應(yīng)當(dāng)將企業(yè)的數(shù)據(jù)治理實(shí)踐與行業(yè)標(biāo)準(zhǔn)及業(yè)界最佳實(shí)踐進(jìn)行對標(biāo)，以找出自身的不足和差距，為制定數(shù)據(jù)治理戰(zhàn)略目標(biāo)提供明確的方向。同時，數(shù)據(jù)治理團(tuán)隊(duì)?wèi)?yīng)當(dāng)致力于在整個公司范圍內(nèi)營造數(shù)據(jù)治理的文化和氛圍，以確保所有員工都能積極參與并遵循數(shù)據(jù)治理規(guī)范。

? 立制度，建流程

必須建立一套完整的數(shù)據(jù)治理制度，以確保數(shù)據(jù)治理工作能夠具體落實(shí)到責(zé)任人，從而更加有效地推動數(shù)據(jù)治理的實(shí)施。

? 善組織，齊協(xié)作

數(shù)據(jù)治理并非僅靠一個數(shù)據(jù)治理團(tuán)隊(duì)就能完成，而是需要與全公司所有與數(shù)據(jù)相關(guān)的業(yè)務(wù)部門和技術(shù)部門協(xié)同推進(jìn)。因此，成立數(shù)據(jù)治理委員會勢在必行。在企業(yè)數(shù)據(jù)治理委員會的指導(dǎo)下，設(shè)立數(shù)據(jù)治理辦公室以及相關(guān)的協(xié)同組織部門，以推動數(shù)據(jù)治理工作的全面落地實(shí)施。

? 權(quán)責(zé)利，當(dāng)清晰

在數(shù)據(jù)治理過程中，數(shù)據(jù)資產(chǎn)所有者及其團(tuán)隊(duì)的權(quán)利、責(zé)任和利益應(yīng)當(dāng)明確且清晰，確保各方在協(xié)作中能夠充分發(fā)揮自己的優(yōu)勢和特長，有利于治理活動的推進(jìn)和各方的協(xié)作配合。

? 凡標(biāo)準(zhǔn)，共遵循

通過制定明確的數(shù)據(jù)治理標(biāo)準(zhǔn)規(guī)范和流程，包括數(shù)據(jù)治理總冊和各專項(xiàng)治理分冊等，可以幫助企業(yè)的數(shù)據(jù)開發(fā)和管理團(tuán)隊(duì)做到有章可循、有據(jù)可依，進(jìn)而提高數(shù)據(jù)治理的整體水平。

構(gòu)建數(shù)據(jù)治理運(yùn)營機(jī)制，提升數(shù)據(jù)治理效能

? 察現(xiàn)狀，診問題

對于數(shù)據(jù)開發(fā)和管理環(huán)節(jié)，需進(jìn)行全面的現(xiàn)狀調(diào)研和分析，以發(fā)現(xiàn)潛在問題和瓶頸，為后續(xù)數(shù)據(jù)治理工作提供有力依據(jù)。

? 能識別，準(zhǔn)定位

通過數(shù)據(jù)問題的識別規(guī)則，可快速準(zhǔn)確地定位數(shù)據(jù)問題及產(chǎn)生的原因，從而提高數(shù)據(jù)治理效率和準(zhǔn)確性。

? 能優(yōu)化，可評估

在識別和定位數(shù)據(jù)問題后，需提出優(yōu)化方案并評估治理效果。通過科學(xué)評估方法，全面客觀評估治理效果，為后續(xù)優(yōu)化提供參考和改進(jìn)依據(jù)。

? 能審計(jì)，可回溯

在數(shù)據(jù)治理活動中，應(yīng)記錄用戶操作日志，以便后續(xù)審計(jì)和回溯。如果出現(xiàn)任何數(shù)據(jù)問題或爭議，可以從系統(tǒng)日志中回溯相關(guān)操作，進(jìn)行審計(jì)和檢查，以便找出問題的根源并采取相應(yīng)的處理措施。同時，系統(tǒng)日志也有助于對數(shù)據(jù)治理活動進(jìn)行有效的監(jiān)控和評估，以及提高數(shù)據(jù)治理工作的透明度和可信度。

? 須考核，納監(jiān)督

數(shù)據(jù)資產(chǎn)健康度評估是數(shù)據(jù)治理績效的關(guān)鍵反饋，通過多維評估分?jǐn)?shù)，不僅有助于發(fā)現(xiàn)數(shù)據(jù)治理薄弱環(huán)節(jié)，也是衡量數(shù)據(jù)治理成果的直接途徑。以數(shù)據(jù)健康評分作為持續(xù)抓手，落實(shí)到具體責(zé)任人和團(tuán)隊(duì)，每個人都有績效分，從而促進(jìn)“要我治理”向“我要治理”的良性可持續(xù)發(fā)展。

? 有獎懲，必晾曬

根據(jù)各團(tuán)隊(duì)的數(shù)據(jù)治理成果進(jìn)行獎懲，每周、每月定期進(jìn)行紅黑榜晾曬。對于黑榜或連續(xù)績效表現(xiàn)較差的團(tuán)隊(duì)，采取相應(yīng)的權(quán)益限制，例如降低任務(wù)優(yōu)先級、限制集群資源申請等。

落實(shí)數(shù)據(jù)治理重要措施，開展專項(xiàng)治理行動

? 采存融，管治用

大數(shù)據(jù)每個環(huán)節(jié)都緊密相連，需要統(tǒng)一納入數(shù)據(jù)治理的范疇。

? 全鏈路，環(huán)相扣

大數(shù)據(jù)生產(chǎn)加工鏈路中的各階段相互依賴，形成緊密的上下游關(guān)系。每個環(huán)節(jié)都很重要，出現(xiàn)問題會導(dǎo)致連鎖反應(yīng)，影響大數(shù)據(jù)生產(chǎn)加工的順利進(jìn)行。因此，必須高度重視每個環(huán)節(jié)的質(zhì)量控制和風(fēng)險管理，確保整個鏈路的穩(wěn)定性和可靠性。

? 元數(shù)據(jù)，乃基石

元數(shù)據(jù)作為數(shù)據(jù)治理的基石，對數(shù)據(jù)治理項(xiàng)目的成功與否起著至關(guān)重要的作用。有的企業(yè)甚至建設(shè)了統(tǒng)一的元數(shù)據(jù)倉庫，并構(gòu)建了強(qiáng)大的主動元數(shù)據(jù)管理能力。

? 設(shè)規(guī)則，控質(zhì)量

許多企業(yè)面臨著數(shù)據(jù)質(zhì)量問題的困擾，缺乏有效的數(shù)據(jù)質(zhì)量稽核無法確保數(shù)據(jù)質(zhì)量，而過多的數(shù)據(jù)質(zhì)量稽核則會導(dǎo)致算力和成本的過度消耗，甚至影響正常的數(shù)據(jù)處理流程。因此，企業(yè)需要精準(zhǔn)地把握數(shù)據(jù)質(zhì)量管理的尺度，并非所有數(shù)據(jù)都需要高質(zhì)量的管理。在實(shí)踐中，應(yīng)優(yōu)先針對涉及重要業(yè)務(wù)的數(shù)據(jù)、經(jīng)常出現(xiàn)問題的數(shù)據(jù)以及被多次引用的數(shù)據(jù)進(jìn)行稽核。

? 厘血緣，識脈絡(luò)

采用機(jī)器學(xué)習(xí)模型算法對SQL語句、程序日志和模型命名規(guī)則進(jìn)行深度解析，自動生成涵蓋庫級、表級、字段級和任務(wù)級等多層級的血緣關(guān)系。然而系統(tǒng)自動解析并不能覆蓋所有的血緣關(guān)系，因此還需要人工維護(hù)的方式進(jìn)行補(bǔ)充。

? 快追蹤，知影響

當(dāng)數(shù)據(jù)出現(xiàn)問題時，可以通過血緣關(guān)系快速定位到上游數(shù)據(jù)資產(chǎn)，還可以評估出該問題對下游數(shù)據(jù)資產(chǎn)的影響，防止了問題的擴(kuò)大和連鎖反應(yīng)的產(chǎn)生。

? 數(shù)地圖，為核心

數(shù)據(jù)地圖是一種可視化工具，用于展示和呈現(xiàn)數(shù)據(jù)資產(chǎn)相關(guān)的信息。它通過圖形化方式呈現(xiàn)數(shù)據(jù)資產(chǎn)的全景視圖、流動視圖和價值視圖等，使用戶能夠更加直觀和輕松地掌握數(shù)據(jù)資產(chǎn)。

? 呈全景，知分布

數(shù)據(jù)資產(chǎn)全景視圖通過實(shí)時監(jiān)控數(shù)據(jù)模型、指標(biāo)、標(biāo)簽等資產(chǎn)的變化，對其進(jìn)行分類，并全面展示數(shù)據(jù)資產(chǎn)的總量、分布和變化趨勢等信息。

? 顯流動，明趨勢

數(shù)據(jù)資產(chǎn)流動視圖在數(shù)據(jù)全生命周期中設(shè)置多個監(jiān)控點(diǎn)，實(shí)時展示數(shù)據(jù)采集、處理、共享和開放過程，為數(shù)據(jù)運(yùn)維者提供有力支持，有助于及時發(fā)現(xiàn)問題并優(yōu)化運(yùn)維流程。

? 攤成本，指方向

大數(shù)據(jù)成本包括基礎(chǔ)設(shè)施、開發(fā)實(shí)施和軟件資源成本，可根據(jù)這些成本數(shù)據(jù)計(jì)算每個數(shù)據(jù)資源的成本，分?jǐn)傊另?xiàng)目、部門和子公司，形成企業(yè)級的大數(shù)據(jù)成本信息。高成本的組織需結(jié)合產(chǎn)出評估ROI，以指導(dǎo)治理方向。

? 自目錄，至明細(xì)

數(shù)據(jù)目錄是企業(yè)對數(shù)據(jù)進(jìn)行盤點(diǎn)后形成的數(shù)據(jù)清單，它可以通過系統(tǒng)、分層、主題、標(biāo)簽等維度進(jìn)行分類和展示。有的企業(yè)還會將數(shù)據(jù)目錄進(jìn)一步細(xì)分為數(shù)據(jù)資源目錄、數(shù)據(jù)資產(chǎn)目錄和數(shù)據(jù)開放目錄。

? 易檢索，助分析

通過利用元數(shù)據(jù)知識圖譜和智能推薦引擎，我們實(shí)現(xiàn)了“人找數(shù)”和“數(shù)找人”的交互方式，極大地提升了用戶查找和使用數(shù)據(jù)的便利性。這種創(chuàng)新方式，就像在電商平臺上購物一樣簡單便捷，從而加速了數(shù)據(jù)的實(shí)際使用、開發(fā)和分析過程。

? 保安全，促開放

數(shù)據(jù)開放是一把雙刃劍，既能夠促進(jìn)數(shù)據(jù)的融合和價值提升，又存在數(shù)據(jù)泄漏的風(fēng)險。因此，通過深入分析數(shù)據(jù)加工鏈路上涉及的多個環(huán)境和技術(shù)形態(tài)，明確安全管理流程，嚴(yán)格控制數(shù)據(jù)的申請、分發(fā)和使用流程，才能確保數(shù)據(jù)全生命周期的安全可控。

? 若合規(guī)，應(yīng)共享

在企業(yè)內(nèi)部，數(shù)據(jù)并不僅僅是某個部門的獨(dú)有資產(chǎn)，而是應(yīng)該被全公司所共享和利用。這種開放共享的數(shù)據(jù)管理方式，可以促進(jìn)企業(yè)內(nèi)部數(shù)據(jù)的流通和利用，提高企業(yè)的生產(chǎn)效率和創(chuàng)新能力。

? 分等級，分類型

為了加強(qiáng)數(shù)據(jù)安全管理，需要對數(shù)據(jù)進(jìn)行分級和分類管理。根據(jù)數(shù)據(jù)的重要性和敏感程度，將其劃分為不同級別，并考慮數(shù)據(jù)的時效性、就高不就低原則和關(guān)聯(lián)效應(yīng)。通過分級分類，可以更好地了解數(shù)據(jù)資產(chǎn)，制定不同級別的安全策略和措施，加密重要數(shù)據(jù)，嚴(yán)格控制訪問，定期備份，從而提高數(shù)據(jù)安全性。

? 嚴(yán)授權(quán)，護(hù)隱私

在數(shù)據(jù)采集、處理、存儲、使用和共享階段，都應(yīng)嚴(yán)格控制授權(quán)以保護(hù)數(shù)據(jù)隱私。同時，采用動態(tài)脫敏技術(shù)實(shí)現(xiàn)數(shù)據(jù)的安全精細(xì)控制，降低泄露風(fēng)險，確保數(shù)據(jù)的可用性和共享效率。

? 建服務(wù)，少跑數(shù)

數(shù)據(jù)服務(wù)是共享開放的基本形式，也是推動數(shù)據(jù)高效訪問和業(yè)務(wù)創(chuàng)新的重要手段。通過可視化、低代碼方式一鍵生成數(shù)據(jù)服務(wù)，提供友好的開放體驗(yàn)，包括API、數(shù)據(jù)交換和文件下載等多種方式。

? 棄保姆，來自助

實(shí)現(xiàn)完善的數(shù)據(jù)一鍵入湖、數(shù)據(jù)共享開放機(jī)制以及提供豐富的數(shù)據(jù)服務(wù)，底層數(shù)據(jù)開發(fā)者無需提供“保姆式”數(shù)據(jù)支持，上層數(shù)據(jù)應(yīng)用開發(fā)者可以在數(shù)據(jù)目錄中選擇合適的數(shù)據(jù)資源及數(shù)據(jù)服務(wù)進(jìn)行自助開發(fā)，提高數(shù)據(jù)應(yīng)用的開發(fā)效率。

? 始源頭，控增量

事后的數(shù)據(jù)治理只能帶來一時的保障，更應(yīng)該從問題源頭、數(shù)據(jù)源頭進(jìn)行治理。

? 理價值，降存量

應(yīng)對數(shù)據(jù)資源、數(shù)據(jù)報表、標(biāo)簽等進(jìn)行價值層面的梳理，對于沒有價值或低價值的數(shù)據(jù)應(yīng)該及時清除，避免資源的浪費(fèi)。

? 設(shè)周期，常清理

綜合考慮數(shù)據(jù)訪問速度、存儲容量以及存儲成本的平衡，在成本可控的情況下，使大數(shù)據(jù)發(fā)揮出更大的價值。通過生命周期管理矩陣設(shè)定數(shù)據(jù)生命周期的時長，對過期數(shù)據(jù)進(jìn)行清除。此外，通過對數(shù)據(jù)的熱度進(jìn)行分析，將冷溫數(shù)據(jù)存儲在中低配置的存儲介質(zhì)上，以提高存儲空間的利用率和降低存儲成本。

? 需壓縮，宜存檔

通過采用數(shù)據(jù)壓縮和存檔的方式，可以大大降低存儲資源的消耗。

? 視場景，擇引擎

選擇合適的計(jì)算引擎對于大數(shù)據(jù)處理至關(guān)重要。例如，將相同的數(shù)據(jù)任務(wù)從HiveSQL遷移到SparkSQL后，運(yùn)行時間、計(jì)算資源和內(nèi)存資源大約可以節(jié)省40%。不同的計(jì)算引擎具有各自的優(yōu)勢和適用場景，因此在實(shí)際應(yīng)用中需要根據(jù)任務(wù)的具體需求和數(shù)據(jù)特點(diǎn)來選擇最合適的計(jì)算引擎，以實(shí)現(xiàn)更高效、更穩(wěn)定和更節(jié)約資源的計(jì)算處理。

? 去冗余，平峰谷

企業(yè)的數(shù)據(jù)資源使用高峰期往往出現(xiàn)在凌晨0點(diǎn)至8點(diǎn)，導(dǎo)致全天資源峰谷相差太大，使得高峰期資源緊缺，因此需要評估高峰期的數(shù)據(jù)任務(wù)是不是有必要在該時間段運(yùn)行。合理安排數(shù)據(jù)任務(wù)的時間，可以更好地均衡利用資源。

打磨數(shù)據(jù)治理智能工具，助力高效治理實(shí)施

? 治理急，線下先

當(dāng)遇到緊急數(shù)據(jù)問題時，應(yīng)首先采取線下溝通的方式，迅速召集相關(guān)人員討論并尋求解決方案,以最快速度解決這些問題。

? 累經(jīng)驗(yàn)，建工具

對于非緊急的、手工治理成本大且需要常態(tài)化治理的，使用線上工具治理更加合適。通過自動化工具可以大大降低人力成本，提高治理效率，并且可以實(shí)現(xiàn)全天候的實(shí)時監(jiān)控和預(yù)警，為企業(yè)提供更加穩(wěn)定、高效的數(shù)據(jù)治理服務(wù)。

? 體系化，智能化

數(shù)據(jù)治理需要體系化推進(jìn)，不能“頭痛醫(yī)頭，腳痛醫(yī)腳”應(yīng)對式片面治理，而要采取“步步為營”的科學(xué)式全面治理模式。

? 一站式，閉環(huán)式

提供一站式的治理工具和服務(wù)，遵循PDCA循環(huán)的科學(xué)理念，制定數(shù)據(jù)治理運(yùn)營實(shí)施策略，并確保該策略“有計(jì)劃、能實(shí)施、可評估、促改進(jìn)”。

? 工具易，運(yùn)營難

數(shù)據(jù)治理是七分治理運(yùn)營加三分工具建設(shè)的綜合體現(xiàn)。如果說治理工具是硬實(shí)力，那么治理運(yùn)營則是軟實(shí)力。

? 若有方，皆可成

盡管數(shù)據(jù)治理工作充滿挑戰(zhàn)，但只要找到正確的方法并愿意投入精力，就一定能夠有效地管理企業(yè)的數(shù)據(jù)資產(chǎn)，進(jìn)而加速推動企業(yè)的數(shù)字化轉(zhuǎn)型。

后記

數(shù)據(jù)治理“三字經(jīng)”，伴君摘得“滿天星”。

筆者期望通過自己的創(chuàng)作分享，幫助企業(yè)在大數(shù)據(jù)領(lǐng)域中更好地摘取“滿天星”，推動數(shù)據(jù)資源向數(shù)據(jù)資產(chǎn)、數(shù)據(jù)資本轉(zhuǎn)變。

而數(shù)據(jù)資本，正是那漫天的繁星，引人注目，光彩照人。

作者介紹

韋真，長期致力于數(shù)據(jù)治理領(lǐng)域的研究與實(shí)踐，曾擔(dān)任世界500強(qiáng)企業(yè)數(shù)據(jù)治理負(fù)責(zé)人，在數(shù)據(jù)治理領(lǐng)域有著豐富的產(chǎn)品規(guī)劃、產(chǎn)品建設(shè)和運(yùn)營實(shí)踐經(jīng)驗(yàn)。

附：《數(shù)據(jù)治理“三字經(jīng)”》全文