數據倉庫的下一階段該是什么?
在大數據時代,大家都意識到數據已經成為了公司寶貴的資產,但如何讓數據發揮價值,一直困擾著大家。數據技術人員需要長時間去理解某一個業務,業務人員也很難使用現代化數據分析工具賦能業務。那么,如何讓公司數據能夠快速和業務融合起來成為了廣大數據從業者和數據服務廠家一直以來思考的問題。
01數據賦能業務的”攔路虎“
回想起Hadoop從2006開始獨立發展,到現在已經16年了,這些年來涌現出了很多數據技術棧,從數據接入存儲,到數據計算分析,可以說是百花齊放。
但在數據融入業務的過程中,逐漸也顯現了一些問題。
我們經常會聽到這樣的聲音:
“你先提交一個數據需求流程吧,我們評估一下開發工作量,排期開發。”
“這個不是我開發的問題,你提的這個指標和小李提的統計邏輯不一樣啊”
“李老師,你說的這個指標定義中的XX是什么意思呢,這個數據源從哪里取值?”
“今年我們這邊的預算已經用完了,以后再提數據需求,需要你們單獨對我們進行結算的。”
那么我們為什么會經常有以上這些“抱怨”,總結一下,無非以下幾點:數據開發流程長、數據統計口徑不一致、技術人員與業務人員協同困難、開發運維成本高。
這就導致我們數據開發人員,永遠都有做不完的“提數”需求,數據產品永遠有開不完的會,到了年底還要寫數據為公司創造多少業務價值。
02數據人的掙扎
資深的數據人當然知道現在數據賦能業務中的“攔路虎”,同時也做了一些嘗試。
優化數據開發流程
完整的數據開發流程具備以下6個階段:提出階段、設計階段、開發階段、測試階段、發布階段、運維階段。
以前,也許我們會在不同平臺進行各個階段的管理,比如數據建模是用的1個工具,數據開發1個工具,數據測試一個工具,現在我們搭建了統一的數據平臺,形成了設計開發測試流水線的工作形式。
業務需求接口人
建立業務需求接口人,涉及某個領域的數據需求,統一由改角色向數據團隊提交開發申請。
技術融入業務
要求數據開發人員定期和業務共同辦公,了解整個業務流轉過程,提升對業務的理解能力。
降低成本
從技術上建立冷熱數據存儲機制,優化壓縮算法,建立數據生命周期等。
可以說,在某些方面,確實讓數據開發人員輕松了一些,但是數據賦能業務價值真正提升了嗎?
03數據賦能業務的探索
數據中臺
數據中臺前幾年很火,最近溫度好像降了下來。回溯一下,當初提出來數據中臺這個概念是為了實現數據的分層和水平解耦,提供全域的數據服務。主要包括以下4部分:數據資產、數據治理、數據模型、數據服務。
數據模型,就是我們熟悉的數據倉庫中的模型,按照數據倉庫規范分層開發模型,實現數據的標準化。
數據資產,在數據倉庫中我們已經建立了一些模型,但是只有打通數據孤島后才可以稱為資產。
數據治理,為了保障數據資產的完整性、準確性、一致性、及時性,為業務提供統一的、準確的指標保駕護航。
數據服務,提供統一的數據服務在線查詢視圖,讓開發者能夠快速、簡單的訪問數據服務。
數據倉庫是“管理數據”,數據中臺是“經營數據”,數據中臺是為了提供服務而生,也有說是為了前臺而生,數據中臺的使用對象仍然是開發人員。
對于一個企業來說,業務人員才是“規則制定者”,只有讓業務人員自己把數據指標用的“得心應手”,才能真正的實現數據賦能。那么一個面向業務人員的,“零門檻”操作的數據指標平臺,將會成為企業實現全面數字化轉型的必選項。
指標中臺
現代管理學之?彼得·德魯克有?句?常經典的話:“What gets measured gets done”,意思是只有一件事情能被量化,才能夠被解決。就好?家?有了?臺秤,才能衡量減肥的效果。那么如何量化管理企業呢,這個統?的標準去衡量業務,就是指標的由來。
所以,從業務經營角度來看,指標可以衡量業務發展的情況,也為未來業務方向的決策提供重要的支撐,指標中臺的主要使用對象是業務人員。
面向業務人員的平臺,很多數據人也都做過嘗試,比如很多“數據自助分析平臺”,在推廣過程中經常會聽業務人員說“你這個工具還沒我的Excel好用”。所以,面向業務人員使用的平臺門檻一定要低。就要能達到現在普通人使用手機數碼相機就能像專業人員用單反相機拍出一樣漂亮照片的效果。
結合我們現階段數據賦能業務遇到的問題,指標中臺應該能夠具備以下4個特點:?效協同管理、業務敏捷提升、數據?徑?致、開發成本降低。
?效協同管理,用戶可創建 Goals(目標),并通過多層級的目標結構來管理指標,形成指標體系,實現管理的可觀測性,完成從數據到管理決策的閉環。
業務敏捷提升,業務人員可以使用無代碼、低門檻的指標管理平臺,借助平臺自動化構建指標能力和行業指標模板,快速迭代賦能業務。
數據?徑?致,建立統一指標目錄,使得組織能夠輕松定義和管理指標,形成統一的指標口徑,并進一步通過治理,增強數據的可信度。
開發成本降低,業務人員自助創建、復用指標;數據團隊擺脫繁重的 ETL 工作,只需聚焦指標管理;企業人效大幅提升。
04指標中臺的展望
指標中臺并不是要完全替代數據倉庫,二者是集成與合作的關系。數據倉庫作為指標中臺的上游數據源。所以從階段上來說,建議從業務角度明確所需要的業務指標,然后接入數據倉庫的數據,并在指標中臺中定義和管理指標。那么,數據處理平臺和指標中臺之間的協作也需要更加便捷。
對于AI方面的支持,現在很多業務除了需要指標,還需要進行一些AI方面的深度數據挖掘分析,就像以前我們ETL任務都是離線的一樣,隨著數據技術的發展和業務的需求,有了越來越多的實時流處理任務。那么,對于指標中臺來說,提供全方面的AI分析能力需求也會變得越來越多。
生態的建立,任何技術平臺的使用推廣,需要建立相應的行業生態,否則會很難進行推廣。有了生態,才會帶動業務上下游一起來使用平臺,逐漸形成標準,也許會發展成為“行業中臺”,這樣的話,對于整個行業的業務賦能和效率提升意義就更大了。






















