一、頂會概覽

VLDB 2021上，阿里云計算平臺MaxCompute參與的論文入選，核心分布式調度執行引擎Fangorn、基于TVR Cost模型的通用增量計算優化器框架Tempura等分別被Industry Track、Research Track錄取。

作為數據管理與數據庫領域三大頂級學術會議之一，VLDB每年都吸引了各大高校、科研機構與科技公司的論文投稿，許多重要技術成果都在VLDB上中選發布。

多篇研究成果的發布離不開25位計算平臺布道師和達摩院布道師花費大量時間撰寫和修改，布道師們通過撰寫論文和參加學術會議，借助布道的力量，傳播阿里云技術優勢，為推動開放共贏的云計算生態作出積極貢獻。

二、首次提出多種執行模式和調度策略混合的動態設計

Fangorn在業界首次提出通過混合執行模式來管理分布式作業的設計，允許執行框架自動探索性能與資源利用間的最佳平衡。 其采用的組件間輕耦合的分層架構，能根據實時數據統計信息，對分布式作業進行多層次的動態調整，為MaxCompute以及PAI平臺上的多種計算作業提供自適應的最優執行計劃。

”如何在超大規模集群和系統中，同時管理多種計算負載的問題，是當前業界數據公司的重點研究方向“，Fangorn在這些方向上的創新，以及在MaxCompute等多個生產平臺上的全面落地，為分布式系統的多層次優化打開了大門。

Fangorn執行框架整體架構

三、首個基于TVR Cost模型的通用增量計算優化器框架

Tempura提出了一種介于傳統流處理和批處理之間的全新增量計算模式，結合批處理的高資源利用率和流處理低延遲的優勢，提供了在計算資源消耗、執行時間調度、查詢延遲、數據處理粒度等方面的靈活權衡。提出了世界上首個基于TVR Cost模型的通用增量計算優化器框架，在集成眾多現有增量計算方法的同時，用戶可以隨時增添任意自定義增量計算方法。

世界上首個落地生產的漸進式優化項目，在MaxCompute漸進式智能數據倉庫業務中廣泛使用，相比傳統批處理，在縮短作業運行時間的同時，節省大量計算資源。

四、阿里云布道師、論文作者：

論文Fangorn:Adaptive Execution Framework forHeterogeneous Workloads on

Shared Clusters

陳穎達、王家忙、陸一峰、韓穎、呂志強、閔雪賓、才華、張煒、范浩川、李超、關濤、林偉、賈揚清、周靖人

論文Tempura:A General Cost-Based Optimizer Framework for Incremental Data Processing

王作至、曾凱、黃柏彤、陳唯、崔曉宗、王博、劉吉、樊莉亞、渠大川、侯震宇、關濤、李晨、周靖人

五、延伸閱讀：

VLDB全稱International Conference on Very Large Date Bases，是數據庫領域的頂級學術會議，和SIGMOD、ICDE共同構成了數據管理與數據庫領域的三大頂級會議。本次2021大會共收錄了216篇Research Paper、23篇Industry Paper、56篇Demo Paper 。

論文Fangorn: Adaptive Execution Framework for Heterogeneous Workloads on Shared Clusters（http://vldb.org/pvldb/vol14/p2972-chen.pdf）

論文Tempura: A General Cost-Based Optimizer Framework for Incremental Data Processing（http://www.vldb.org/pvldb/vol14/p14-wang.pdf）