Thoughtworks發布《數據工程白皮書》
隨著企業數字化轉型的不斷開展，企業對數據越來越重視、對數據的訴求越來越豐富。
盡管數字化轉型對于市場來說并不是一個新鮮事物，從技術視角來看，人工智能與大數據相關技術仍處于創新階段，各行業正在尋找和探索價值場景與新興技術融合的平衡點，希望在新興技術的加持下能夠在激烈的競爭中占據有利位置。
對于企業中需要直接面對或完成數據工作的負責人來說，需要有一套切實可行的方式方法來確保數據工作能夠保質保量的順利開展、保障企業在數據領域的投入能夠有價值產出。這樣一套行之有效的方式方法我們稱為“數據工程”，而該體系的落地過程稱為“數據工程化”。
近日，Thoughtworks發布《數據工程白皮書》，旨在討論如何從工程化的角度加速數據到價值的轉化過程、為企業帶來更多的價值，幫助企業在數字化轉型過程中應對來自業務、外部市場、內部數據能力提升等一系列問題。
數據工程價值觀及原則
數據工程來源于軟件工程，數據工程包含了需求、設計、構建、測試、維護演進等階段，涉及項目管理、開發過程管理、工程工具與方法、構建管理、質量管理，是一套為了應對規模化生產和使用數據、為業務提供數據支撐，最終產生價值的體系。
同時定義了在落地實施過程中如何確保需求準確性、設計靈活性、開發便捷性、維護低成本性、架構可修改性等保障性能、質量的原則。
圖:數據工程價值觀及原則
三步走戰略
在面對業務協同性不夠、業務決策路徑不清晰、組織架構可能導致的部門墻等諸多問題上，企業應當匯聚多業態、多鏈路中所涉及的不同業務數據、打通全產業鏈、構建業務生態，打造以數據為中心的價值創新產品，通過數據去產生新洞見、發現新業務、打造新產品、驗證新想法，從而驅動業務的快速迭代。
在此我們推薦三步走戰略：數據愿景對齊、數據工程落地實施、數據持續運營。三步自頂向下，先確定總體目標，再進行目標拆解，由目標制定具體措施，再到具體工程實踐，最后以持續運營手段，完成數據從業務中來，再到業務中去的完整價值閉環。
圖:數據工程落地三步走戰略
面對企業不同的現狀和實際情況，數據工程落地三步走戰略在實際開展的時候需要結合企業情況來進行調整，并非一個絕對答案，在數據工程落地時需要從總體考慮數據治理工作要如何開展。從另一個角度來看，數據工程落地是一個持續優化迭代的過程，因此沉淀、復用、持續運營、能力建設都是數據工程落地過程中不可或缺的一部分。
圖:數據工程能力復用與保障
圖:數據持續運營
總結
數據工程實現與落地過程中涉及到方方面面的工作，從確認需求到后期運營；從質量管控到安全保障；從設計到實施等多個維度。意味著數據工程落地過程中需要有跨部門的合作；企業的業務與數據融合后的流程管控；對技術能力的更高的要求。這也對企業落地數據工程帶來更大的挑戰，挑戰來源于數據工程落地的時候并非單純的技術問題，而是技術、數據、業務相融合后的結合體。
正如本白皮書引言部分提到的“數據已經成為繼土地、勞動、資本、技術之后的第五大生產要素”，任何一次科技革命都會為企業、社會甚至是全球帶來沖擊，我們現在正處于技術革新的過程中。
這既是挑戰也是利好，挑戰在于我們需要重新審視企業未來的發展方向、積累和沉淀新的技術能力并與實際的業務相融合，企業需要著手開始自己的數據能力布局;利好的是企業戰略布局和轉型的主動權在自己的手里。
