從人工智能，到大數(shù)據(jù)，再到云計算，新技術的革命無處不在，不僅深刻改變著我們的日常生活，也已經(jīng)成為產業(yè)數(shù)字化轉型的必經(jīng)之路。目前，我國人工智能核心產業(yè)規(guī)模已超過千億元，全國在用數(shù)據(jù)中心機架數(shù)的總規(guī)模近400萬架，大型以上數(shù)據(jù)中心超過250個。

　　撲面而來的數(shù)字浪潮之下，轉型中的企業(yè)如何辨明方向、找到最適合自己的抓手和方案?

　　5月28日，“2021阿里云峰會”在北京開幕。此次峰會以“云上創(chuàng)新”為主題，阿里云與眾多嘉賓、合作伙伴共同探討了企業(yè)數(shù)字創(chuàng)新的新思路、新策略、新產品、新方案，展開“云上創(chuàng)新”的全景圖。

　　在28日下午舉行的“全鏈路數(shù)據(jù)服務-大數(shù)據(jù)及AI論壇”分論壇上，匯量科技 (Mobvista)資深算法架構師、EnginePlus 產品負責人陳緒受邀發(fā)表演講，與嘉賓們分享了云原生數(shù)據(jù)湖的探索和實踐，并介紹了匯量自研開源數(shù)據(jù)湖框架 StarLake 與新一代“一站式云原生大數(shù)據(jù) AI 平臺” EnginePlus 。

　　從數(shù)據(jù)倉庫到湖倉一體：數(shù)據(jù)分析架構的演進

　　隨著企業(yè)業(yè)務的快速擴展，衍生數(shù)據(jù)量面臨爆發(fā)式增長，企業(yè)對數(shù)據(jù)處理分析的需求日趨迫切。在此背景下，創(chuàng)新技術與方案成為企業(yè)剛需，用以解決數(shù)據(jù)智能處理的挑戰(zhàn)。

　　陳緒介紹稱，云原生的數(shù)據(jù)分析架構，經(jīng)歷了從傳統(tǒng)數(shù)倉，到數(shù)據(jù)湖，再到湖倉一體的演進。

　　匯量科技資深算法架構師、EnginePlus 產品負責人陳緒發(fā)表演講

　　傳統(tǒng)數(shù)據(jù)倉庫強調結構化數(shù)據(jù)，在當今的互聯(lián)網(wǎng)應用中會導致建模繁瑣、流批架構復雜等一系列問題，傳統(tǒng)的 hive 等方案也不再適配云原生的演進趨勢。在這種背景下，數(shù)據(jù)湖應運而生。

　　數(shù)據(jù)湖解決了數(shù)倉的部分問題，例如實現(xiàn)非結構化數(shù)據(jù)的處理、流批一體化等等，此外，云上元數(shù)據(jù)和對象存儲能力也在持續(xù)不斷地演進、優(yōu)化。在 OSS 的支撐下，計算和存儲能夠更好地實現(xiàn)分離，數(shù)據(jù)湖的能力由此得到擴展。

　　因此，數(shù)據(jù)湖和數(shù)據(jù)倉庫的功能進一步整合，已經(jīng)成為當前的趨勢。

　　陳緒表示，從業(yè)務視角來看，理想的湖倉一體是以數(shù)據(jù)湖為“底座”，具備元數(shù)據(jù)管理強拓展性，同時優(yōu)化對象存儲訪問的性能，進而能夠優(yōu)化寬表的實時多流攝入能力，最終能夠統(tǒng)一支撐分析和科學 AI 的應用場景。

　　StarLake：匯量科技自研開源數(shù)據(jù)湖框架

　　據(jù)悉，為在互聯(lián)網(wǎng)業(yè)務中實踐數(shù)據(jù)湖和湖倉一體化，匯量科技自研并開源了數(shù)據(jù)湖框架 StarLake，實現(xiàn)大規(guī)模數(shù)據(jù)的實時攝入和更新，高效構建湖倉一體化分析平臺，能夠更好地解決開發(fā)者上云和數(shù)據(jù)處理的挑戰(zhàn)。

　　據(jù)介紹，相比開源同類數(shù)據(jù)湖框架，StarLake 具有以下特點：

　　支持多級分區(qū)和 Range、Hash 兩種分區(qū)模式，在 Upsert 場景上有較明顯的性能提升，能夠支撐實時寬表的能力;

　　采用分布式 DB 實現(xiàn)元數(shù)據(jù)管理，在擴展能力上進一步提升;

　　針對對象存儲的專門優(yōu)化: 通過重寫文件解析層與存儲層融合，達到計算和 IO 并行化;

　　同時支持 Copy on Write 和 Merge on Read 模式，支持高并發(fā)的寫入能力;

　　將元數(shù)據(jù)、分區(qū)規(guī)則等進一步下推到計算引擎層，進行聯(lián)合算子優(yōu)化，提升查詢分析的性能。

　　陳緒提到，在匯量科技，StarLake 數(shù)據(jù)湖框架并非“單兵作戰(zhàn)”，而是作為新一代一站式云原生大數(shù)據(jù) AI 平臺 EnginePlus 的一部分，在云原生的架構下，更好地為企業(yè)提供服務。

　　EnginePlus：新一代一站式云原生大數(shù)據(jù) AI 平臺

　　記者了解到，在 EnginePlus 平臺上，StarLake 數(shù)據(jù)湖可以實現(xiàn)高效的數(shù)據(jù)攝入，為分析、計算提供“底座”，同時還可無縫對接匯量科技自研的開源機器學習框架 MindAlpha ，對數(shù)據(jù)進行人工智能建模。

　　EnginePlus 通過將大數(shù)據(jù)與云計算、人工智能等信息技術融合創(chuàng)新，實現(xiàn)數(shù)據(jù)攝入、數(shù)據(jù)計算、模型訓練、在線預測的一站式閉環(huán)，幫助客戶有效提升數(shù)據(jù)處理的效率與精準度。在大規(guī)模業(yè)務的生產驗證下，EnginePlus 兼具快速接入、簡單易用、高性能、高穩(wěn)定性等特點。

　　陳緒舉例稱，在典型的個性化算法業(yè)務場景里，會存在多個實時流，包括用戶數(shù)據(jù)流、item 數(shù)據(jù)流、交互數(shù)據(jù)流、離線數(shù)據(jù)等，通過 StarLake 數(shù)據(jù)湖框架，實時流可以直接并發(fā)入湖，使多個維度的更新同步進行。

　　結合 OSS 為數(shù)據(jù)湖提供的存儲能力，就能搭建起一個實時化的寬表，在這個過程中，基本消除了傳統(tǒng)數(shù)倉建模和 ETL 流程，隨后就可以對接分析、BI 和 AI 的計算。

　　如此，業(yè)務流程變得更加敏捷，數(shù)據(jù)架構得到了大幅簡化。據(jù)了解，這套架構已經(jīng)在廣告、電商、風控等場景得到落地使用。

　　數(shù)據(jù)湖場景下，云商產品去向何方?

　　作為云原生數(shù)據(jù)湖的深度用戶，匯量科技從業(yè)務視角分享了 StarLake 數(shù)據(jù)湖框架的架構實踐。從架構角度，針對數(shù)據(jù)湖的場景，匯量科技希望未來云廠商在產品功能上如何進一步發(fā)展?

　　在演講后的圓桌討論環(huán)節(jié)，陳緒提出，站在互聯(lián)網(wǎng)業(yè)務和云原生架構視角看“湖倉一體”的演進，未來將會是應用場景和底層架構融合“co-design” 的趨勢。

　　陳緒認為，EnginePlus 的數(shù)據(jù)湖組件 StarLake，根據(jù)業(yè)務場景以及面向云上對象存儲需要有新的融合設計，這同時也是一種新的“co-design”;在湖倉一體趨勢中，大家也看到了對象存儲和應用層的融合——例如，近期 OSS 推出的加速器就是一個很好的功能;未來，云廠商在對象存儲上進一步提升元數(shù)據(jù)管理、一致性、并發(fā)吞吐等能力，更好地支撐各類實時數(shù)據(jù)分析的場景，能夠進一步在湖上統(tǒng)一數(shù)據(jù)分析體系，是非常有意義的趨勢。

　　陳緒在圓桌討論環(huán)節(jié)

　　伴隨著新的行業(yè)發(fā)展趨勢，企業(yè)有望實現(xiàn)新一代數(shù)據(jù)智能開發(fā)、解放業(yè)務生產力，組成更美好的“云上創(chuàng)新”全景圖。