京東EB級全域大數據平臺的演進與治理歷程
大家好，我是來自京東的包勇軍，今天主要跟大家分享一下京東全域大數據平臺的建設歷程。在分享前，我想先重申一下數據的價值。
一、數據的價值
眾所周知，數據正如石油一樣深刻改變著我們的信息化社會，為整個行業，更為我們的社會創造了越來越大的價值。
左圖為公開資料：Forrester發布《數據中臺2019年行業分析報告發布》;右圖為公開資料整理
上圖有兩個直觀的展示：
- 左邊是引自Forrester報告里的一句很直觀的陳述，“通過數據洞察驅動業務發展，我們的領先者，比落后者在競爭優勢上能夠維持2.4倍加速度”;
- 右邊很直觀的展示了全球市值前十大公司近30年來的一個變化。可以看到最近十年來，在全球市值前十公司中，科技公司已經占了絕大多數。
從數據角度來看，大部分的這類科技公司都是通過生產、加工、消費和重構數據的循環來提升商業價值，這是他們的一個共同本質。
國內大數據行業趨勢
來源于：公開資料整理
從宏觀政策角度來看，近些年來我國的大數據相關政策也相繼出臺。政府連續六年把大數據寫入政府工作報告，市場預測在2023年大數據直接相關產業將達到1.57萬億的規模，而間接關聯行業也已經深入到各行各業的日常生活消費當中。可以看出，我們的所有企業，包括傳統企業都在做深刻數字化轉型。
二、行業大數據平臺現狀
1、行業大數據平臺發展階段
來源于：公開資料整理
從一個技術人的角度看，我們認為大數據平臺在應對整個行業訴求方面當前還處在一個探索期，還在起步的階段。
數據中臺的概念逐步受到市場關注，但是數據平臺在企業的成功應用案例仍然局限在頭部互聯網企業，以及相關的創新型企業，但我們希望達到的目標是將數據中臺打造成行業內所有企業的一個標配的基礎能力。
2、行業大數據平臺架構
距離數據平臺建立一個統一的行業標準、統一的監管規范仍然有相當長的路需要去走。這是一個大數據平臺架構簡圖：
來源于：公開資料整理
從這個架構圖可以看到：
- 整個大數據生態是非常復雜的，里面涉及非常多元、多樣的產品技術;
- 數據平臺技術處于高速發展階段，以及整個行業在每年都會涌現大量的新鮮產品和技術。
這兩個特點為諸多企業建立標準統一的大數據平臺和進行數字化轉型帶來了很高的技術門檻，同時技術路線的不清晰也隱藏各種決策的風險。
3、行業大數據平臺建設的挑戰
我們認為建設行業大數據平臺面臨著諸多的問題：
我們也從京東的大數據實踐中提煉了一些核心點，希望對大家有所幫助：
- 隨著數據規模快速增加，想要通過簡單堆砌物理資源的方式，會讓投資的邊際效益越來越低;
- 同時隨著市場競爭格局加劇，傳統規則化的數據分析方式已經無法滿足更精準的業務數據挖掘訴求;
- 在后疫情時代，新基建激發了大量對數據的訴求，然而互聯網企業所積累的數字化轉型經驗想要在其他相關行業落地推廣，還需要繼續探索。
三、京東全域大數據平臺的建設歷程
結合前面提出的一些核心問題，下面我來分享一下京東在大數據平臺建設中的一些歷程和心得。
1、京東大數據平臺的整體情況
從總體規模上來看，平臺的集群服務器已經在數萬規模，日計算任務數在數百萬級別，總存儲達到EB級別。
從業務賦能角度上看，平臺面向京東全部業務場景，支撐了包括京東主站電商業務、金融業務、京東物流、京東健康等諸多復雜業務場景。
2、京東大數據平臺建設歷程
為達到以上這兩個效果，實際上我們整個平臺經歷了很長的建設和發展歷程。這個歷程包括了五個階段：
1)規模化階段
規模化解決了京東業務急劇增長帶來的挑戰。隨著業務增長，數據急劇膨脹，無論是堆機器還是人力，都無法滿足高速增長的業務需求，也無法有效保障如此大規模平臺的穩定性。
想要解決這個問題還需要回到問題本身。京東的實踐表明，隨著平臺體量增加，業界開源社區流行的一些開箱既用技術，需要進行深度定制和創新性改造，才能有效支撐海量數據規模的需求。
所以我們在這方面做了一些系統性的工作。
① 高效的計算存儲引擎
- 首先我們完成了技術棧的計算存儲分離升級，依托數據中心網絡技術的提升，減弱對計算本地性的依賴，打散存儲熱點，提高計算穩定性;
- 同時定制存儲與計算優化機型，獨立進行容量規劃，大幅降低IT資源成本。在存儲上實現了穩定的萬臺規模HDFS集群，并在其上全面落地了糾刪碼技術，實現高效高壓縮比的大數據存儲;
- 再在計算上進行了跨層的優化，從調度層、引擎層和應用層分別進行了深度的改進;
- 最后通過全生命周期管理保障平臺的存儲計算能力持續處于健康狀態。
② 自動化運營管理系統
除了底層引擎核心能力以外，我們還需要建設上層的自動化運維和管理系統。這不僅涵蓋了對服務器資產的運維運營、資源治理和規劃，還包括了對整個數據資產的盤點和收益分析。
我們也希望通過自動化運維，通過系統化管理解決平臺規模化、平臺可靠性和平臺可用性問題，高效支持業務快速布局和起量。
2)體系化階段
① 業務快速并行發展帶來的挑戰
隨著主營業務的逐漸成熟，新興業務也快速發展并對數據平臺帶來新的挑戰：
- 新業態野蠻生長，讓管理成本急劇增加，如何破局是一個無法繞開的難題;
- 數據煙囪：重復建設，缺乏鏈接，無法形成合力;
- 數據腐化：隨著時間流逝，數據價值流失;
- 缺乏治理：高價值數據甄別難;
- 來源繁雜：結構化、非結構化數據、多種異構數據源;
- 業務復雜：需求擴張速度與應接能力矛盾。
② 數據中臺的核心目標
我們從金融業務，物流業務，電商業務，保險業務、健康業務等不同業務的特點和需求出發，逐步構建成標準化、可管理、可維護、可理解、可復制、一站式、體系化的數據中臺，解決了前面提到的業務復雜、數據異構、煙囪化開發、建設成本高等問題。
通過數據層面全鏈路的規范、盤點、治理，以及平臺工具層面業務標準化支撐，打造出京東全集團體系化數據中臺。
總而言之，體系化是數據中臺的核心目標之一，覆蓋了數據從生產、計算、存儲、消費的全生命周期，為數據價值的高效發揮提供了堅實基礎。
基于體系化建設的經驗，我們也沉淀和打磨各項數據能力，提煉出一系列的產品化解決方案。這種體系化建設的方法論和實踐經驗，讓我們在業務快速布局、快速發展的階段中，能夠使數據非常高效的輸入到決策引擎，形成快速的商業決策。
3)實時化階段
隨著數據規模擴張，業務數據決策體系化標準和理念越來越為大家所接受，整個業務發展也越來越快，對應的數據應用訴求也越來越多。這也對整個數據平臺的實時化能力提出了更高的要求。
① 速度是永恒的訴求，快速響應市場變化
實時數據處理中，高吞吐低延遲指標是一個永恒的訴求。
如何基于海量數據支撐業務的秒級決策，在競爭日益激烈的市場環境下，快速響應市場的變化，贏得競爭優勢。這對實時化能力提出很高的挑戰，促使我們對系統進行實時化改造。
由于電商行業的特點，我們還面臨著618，雙11大促洪峰的壓力。那么如何在大促場景下保障系統的高可用和高性能，同時保證日常情況下實現資源的高效利用，是我們面臨的一項獨特挑戰。
加之整個公司業態眾多，各業務線人員技術背景參差不齊，而我們希望新興技術能夠在各個業務團隊快速推廣，從而使其可以將更多精力投入業務探索、創新上面。這對實時數據開發的易用性也提出了挑戰。
② Easy Realtime實時計算平臺
針對實時化的這些挑戰，我們制定了一個端到端的一站式解決方案：打造Easy Realtime實時計算平臺。
首先，這是一個高可用系統。一方面，我們在任務調度、數據分發、狀態恢復等方面進行了深度定制優化，大幅提升了系統魯棒性，也經歷了多次大促洪峰的考驗;另一方面我們落地了基于容器的云原生彈性資源調度，打造了全自研的自愈框架，實現自動化自適應的故障恢復能力，能有效的保障系統和平臺的穩定性。
其次，Easy Realtime平臺是企業級應用平臺，集成了一站式云代碼開發，并直接對接云原生實時計算平臺。
平臺的建設目標是讓沒有任何代碼開發能力的一線業務同事，例如京東的采銷同事，甚至是ISV代理，經過短時間培訓，能夠具備SQL能力、快速上手，自主實現業務決策開發。
4)智能化階段
該階段是對數據的深度理解，這是業務再增長的一個動力源。
我們希望通過智能化改造，打造以高效精準業務決策為目標的數據化智能服務。同時希望通過智能化改造，把我們以統計分析為主的大數據平臺，升級到以數據智能化、數據精準化、數據深度化理解的一個數據算法綜合型平臺。
通過這樣一個平臺，希望能夠對數據進行一個全新的理解，深層次的加工，從而挖掘更多、更全面、更精準的信息，幫助我們業務方能夠在市場競爭環境下獲得更大的技術優勢。
① 智能化轉型面臨的挑戰
京東大數據平臺智能化轉型面臨以下三個特殊挑戰：
- 大數據下的大規模機器學習算力挑戰：如何讓整個大數據的算力與算法能高效結合?具體來說，在大數據背景下實現工業級的超大規模機器學習平臺算力本身就是一個大的挑戰;
- 數據安全背景下的跨業務實體數據融合分析：隨著數據安全的政策、法規和理念越來越被重視，而且在數據安全背景下，如何對跨業務實體的數據做融合算法分析，以此幫助我們的業務團隊獲得更多的數據和競爭優勢，也是一個新興的挑戰。為此我們研發了聯邦學習數據交換平臺，為京東生態合作提供數據交換安全屋(避難所);
- 數據多模態的大量涌現，組織越來越復雜，應用越來越靈活：基于此我們打造出伽利略圖計算框架，能夠支持復雜關系的數據分析，輕松支持數十億級別圖數據的復雜關聯計算，為整個多模態數據提供一個高效存儲和計算平臺。
② 九數(9N)商業分析和業務智能化平臺
九數商業分析和業務智能化分析平臺的架構圖
平臺里有幾個核心的算法引擎，包括9N-FL聯邦學習引擎。支撐這些引擎的基礎是面向整個算法領域的云化資源管理系統，它與面向數據的管理系統無縫集成，形成一站式的數據算法解決方案，最終賦能京東的零售業務、健康業務、金融業務等, 推動業務的高速發展。
以京東廣告業務為典型案例，
- 九數平臺研發推動了整個廣告從規則化到數字智能化轉型，推進了整個京東無人投放廣告的研發工作;
- 目前無人投放廣告已經成為京東廣告的最核心收入來源，而智能化平臺轉型是其中最大的一個系統助力因素;
- 我們也在積極的推動開源, 以回饋社區。現在九數聯邦學習平臺已經開源，伽利略圖計算引擎計劃在年底開源，平臺整體開源也在籌備當中。
5)商業化階段
京東全域大數據平臺架構Easy JData
基于以上四個階段的發展，我們最終打造出依托于實際業務支撐經驗的，可同時支持多領域應用(零售、物流、金融、健康等)的全域大數據平臺。它包含的系統、工具、產品和方法論，與業內主流數據中臺也有一定的共通之處。
在建設過程中遇到的挑戰，也在前面給大家一一介紹過。在當下政企數字化轉型如火如荼的關口，京東的這些經驗最終將沉淀出相應的技術產品或工具，并能夠走出去，助力行業發展。
四、未來發展方向
讓我們來一起暢想下全域數據平臺的發展方向，希望伴隨業務的發展，我們能夠持續修煉技術內功，加強技術升級，實現云原生的智能數據平臺。同時能深化和落實Deep AI的概念，加速業務深度賦能。最后希望能將京東經驗回饋整個行業，以PaaS化、SaaS化為抓手，與合作伙伴協作共贏，建設健康可持續的大數據商業生態。
講師介紹
包勇軍，目前在京東任職數據基礎平臺部、廣告質量部、推薦研發部負責人，同時擔任京東集團技術委員會委員、京東零售數據算法委員會會長。負責大數據平臺基礎架構的建設和產品開發、AI算法平臺建設、AI算法在廣告系統中的研發和應用，推薦策略、數據和推薦系統的研發工作。數據系統和算法等領域專家，精通數據算法和平臺技術在電商業務數字化中的落地應用，對大數據底層架構設計及平臺建設有豐富的實戰經驗。
