數(shù)智化轉(zhuǎn)型背景下的火山引擎大數(shù)據(jù)技術(shù)揭秘

作者：喊你來報(bào)名的 2023-08-30 15:33:02

9 月 16 日，火山引擎開發(fā)者社區(qū) Meetup 第 12 期暨超話數(shù)據(jù)專場(chǎng)邀請(qǐng)到了火山引擎數(shù)據(jù)平臺(tái)的 5 位專家，將從數(shù)據(jù)分析、數(shù)據(jù)治理、研發(fā)提效等角度，為大家?guī)砀韶浄窒恚瑤湍闳媪私鈹?shù)智化轉(zhuǎn)型背景下的火山引擎數(shù)據(jù)飛輪模式在數(shù)據(jù)資產(chǎn)建設(shè)上的技術(shù)與實(shí)踐。

今年4月，火山引擎在上海舉辦了春季 FORCE 原動(dòng)力大會(huì)，正式提出了“數(shù)據(jù)飛輪”的數(shù)字化建設(shè)模式。

現(xiàn)如今，越來越多的企業(yè)也正圍繞數(shù)據(jù)進(jìn)行深度的價(jià)值挖掘，用數(shù)據(jù)全方位地驅(qū)動(dòng)業(yè)務(wù)增長(zhǎng)。如何讓數(shù)據(jù)“說話”，更好的幫助企業(yè)實(shí)現(xiàn)科學(xué)決策，并助力企業(yè)完成數(shù)字化轉(zhuǎn)型？

? 時(shí)間：2023/9/16（周六）14:00-17:30

?? 形式：線下+線上直播

?? 地點(diǎn)：深圳市南山區(qū)高新南九道深圳灣創(chuàng)新科技中心2棟B座F6-31&32（科苑地鐵站C口步行340米）

精彩議程

《DataSail CDC 數(shù)據(jù)整庫(kù)實(shí)時(shí)入倉(cāng)入湖實(shí)踐》李延加｜火山引擎 DataSail 高級(jí)研發(fā)工程師

演講介紹：在線數(shù)據(jù)庫(kù)數(shù)據(jù)導(dǎo)入到數(shù)倉(cāng)分析的鏈路已經(jīng)存在多年，隨著近年來實(shí)時(shí)計(jì)算的發(fā)展，業(yè)務(wù)希望有延遲更低、運(yùn)維更便捷、效率更高的 CDC 同步通道。本次分享主要介紹 DataSail 實(shí)現(xiàn) CDC 整庫(kù)實(shí)時(shí)同步的技術(shù)方案和業(yè)務(wù)實(shí)踐。

主要內(nèi)容：

CDC 數(shù)據(jù)同步對(duì)業(yè)務(wù)的價(jià)值
DataSail CDC 同步實(shí)現(xiàn)技術(shù)方案
業(yè)務(wù)最佳實(shí)

聽眾受益：

了解 DataSail 整庫(kù)實(shí)時(shí)同步背后的技術(shù)
了解 DataSail 整庫(kù)實(shí)時(shí)同步產(chǎn)品的能力

《火山引擎 EMR 基于 Proton 的存算分離實(shí)踐》吳志平｜火山引擎 EMR 研發(fā)工程師

演講介紹：基于對(duì)象存儲(chǔ)的存算分離架構(gòu)，在提升系統(tǒng)穩(wěn)定性，提高資源利用率，降低運(yùn)維成本的同時(shí)，在大數(shù)據(jù)量分析場(chǎng)景下也面臨著一些核心挑戰(zhàn)：HDFS 與對(duì)象存儲(chǔ)之間的語(yǔ)義差異；存算分離之后帶來的較大性能損耗。

EMR團(tuán)隊(duì)針對(duì)這些挑戰(zhàn)自研了 Proton 加速引擎，深度優(yōu)化對(duì)象存儲(chǔ)讀寫能力，與Hive/Spark/Trino 等計(jì)算引擎集成后，在不改變用戶使用習(xí)慣的前提條件下，可提供對(duì)象存儲(chǔ)數(shù)據(jù)集的透明加速服務(wù)。在離線場(chǎng)景下，其性能基本持平存算一體架構(gòu)。本次分享將介紹 Proton 技術(shù)能力和最佳實(shí)踐。

主要內(nèi)容：

存算分離的挑戰(zhàn)以及解決方案
Proton 介紹以及原理分析
Proton 最佳實(shí)踐

聽眾受益：

了解對(duì)象存儲(chǔ)和 HDFS 的差異
了解 Proton 的基本能力以及實(shí)踐方式

《字節(jié)跳動(dòng)基于 DataLeap 的 DataOps 實(shí)踐》黃虹｜火山引擎 DataLeap 產(chǎn)品經(jīng)理

演講介紹：隨著數(shù)字化轉(zhuǎn)型的推進(jìn)以及業(yè)務(wù)數(shù)倉(cāng)建設(shè)不斷完善，大數(shù)據(jù)開發(fā)體量及復(fù)雜性逐步上升，如何保證數(shù)據(jù)穩(wěn)定、正確、持續(xù)產(chǎn)出成為數(shù)據(jù)開發(fā)者核心訴求，也成為平臺(tái)建設(shè)面臨的挑戰(zhàn)之一。本次分享主要介紹字節(jié)對(duì)于 DataOps 的理解以及 DataOps 在內(nèi)部業(yè)務(wù)如何落地實(shí)踐。

主要內(nèi)容：

字節(jié)數(shù)據(jù)研發(fā)面臨的挑戰(zhàn)
字節(jié) DataOps 定義
DataOps 產(chǎn)品化方案
業(yè)務(wù)最佳實(shí)踐

聽眾受益：

了解 DataOps 理念
了解 DataOps 在字節(jié)業(yè)務(wù)的最佳實(shí)踐

《基于 ByteHouse 引擎的增強(qiáng)型數(shù)據(jù)導(dǎo)入技術(shù)實(shí)踐》孔柏林｜火山引擎 ByteHouse 產(chǎn)品經(jīng)理

演講介紹：ByteHouse 基于自研 HaMergeTree ，構(gòu)建增強(qiáng)型物化 MySQL、HaKafka引擎，實(shí)現(xiàn)數(shù)據(jù)快速集成，加速業(yè)務(wù)數(shù)據(jù)分析性能與效率，本次 talk 主要介紹物化MySQL 與 HaKafka 數(shù)據(jù)導(dǎo)入方案和業(yè)務(wù)實(shí)踐。

主要內(nèi)容：

ByteHouse 數(shù)據(jù)庫(kù)架構(gòu)演進(jìn)
增強(qiáng) HaKafka 引擎實(shí)現(xiàn)方案
增強(qiáng) MaterializedMySQL 實(shí)現(xiàn)方案
案例實(shí)踐與未來展

聽眾受益：

了解 Bytehouse 基于引擎層數(shù)據(jù)導(dǎo)入能力
MaterializedMySQL 和 HaKafka 在業(yè)務(wù)中的實(shí)踐

《湖倉(cāng)一體加速引擎 Bolt 及在 LAS 的應(yīng)用實(shí)踐》楊嘉義｜火山引擎 LAS 資深技術(shù)專家

演講介紹：Spark、Presto 等引擎原Java執(zhí)行的性能優(yōu)化進(jìn)入瓶頸期，而基于向量化和編譯優(yōu)化的 native 引擎，可獲兩倍性能加速比，降低資源成本。Bolt 已經(jīng)在字節(jié)跳動(dòng)內(nèi)部SparkSQL、Presto 大規(guī)模上線，加速效果顯著，其特色有：面向多場(chǎng)景統(tǒng)一加速、端到端向量化執(zhí)行。本次分享將介紹 Bolt 的意義、架構(gòu)和在 LAS 的應(yīng)用實(shí)踐。

主要內(nèi)容：

Bolt 的背景和意義
Bolt 的架構(gòu)設(shè)計(jì)
Bolt 的核心特色
Bolt 在湖倉(cāng)一體產(chǎn)品LAS的實(shí)

聽眾受益：

了解基于向量化和編譯優(yōu)化的 Bolt 加速引擎
了解 Bolt 在湖倉(cāng)一體產(chǎn)品 LAS 的應(yīng)用

掃碼立即報(bào)名

掃碼進(jìn)入活動(dòng)群

點(diǎn)擊【閱讀原文】也可以報(bào)名哦～快喊上更多小伙伴一起現(xiàn)場(chǎng)打卡吧！期待與大家深圳面基！

責(zé)任編輯：張燕妮來源： 51CTO官微

火山引擎