數(shù)字經(jīng)濟時代，數(shù)據(jù)已經(jīng)成為企業(yè)的核心資產(chǎn)，推動著企業(yè)的業(yè)務創(chuàng)新與高速發(fā)展。隨著企業(yè)數(shù)字化轉(zhuǎn)型的深入，企業(yè)獲取數(shù)據(jù)的方式變得更加簡單，數(shù)據(jù)量呈現(xiàn)出爆炸式增長的態(tài)勢。與此同時，企業(yè)對于數(shù)據(jù)處理的需求也發(fā)生了變化，由原來的實時處理擴展成對數(shù)據(jù)資產(chǎn)的深度分析，HTAP混合型關(guān)系數(shù)據(jù)庫成為企業(yè)最佳的選擇。 

基于市場的實際需求，結(jié)合用戶和開發(fā)者的真實需要，openGauss進行了全面的技術(shù)架構(gòu)創(chuàng)新和產(chǎn)品功能演進，并于2022年9月30日正式發(fā)布了openGauss 3.1版本。openGauss 3.1版本采用了四大架構(gòu)創(chuàng)新技術(shù)，并持續(xù)演進了“四高”能力，能夠支持數(shù)據(jù)實時交易和分析混合處理，以一棧式 HTAP 解決方案，賦能開發(fā)者，助推企業(yè)加速數(shù)字化轉(zhuǎn)型進程。 

從OLTP到HTAP，用戶場景驅(qū)動數(shù)據(jù)庫變革

提到數(shù)據(jù)庫，就不得不提OLTP和OLAP。 

作為承載企業(yè)諸如CRM、訂單系統(tǒng)、銷售系統(tǒng)等等在線事務處理的核心數(shù)據(jù)庫系統(tǒng)，OLTP對高并發(fā)、低延時、數(shù)據(jù)一致性有極高的要求。OLAP主要用于大量數(shù)據(jù)的分析、處理與匯總，因此對磁盤的容量有著很高的要求，在性能方面可以容忍少量滯后。 

在數(shù)字化轉(zhuǎn)型的初級階段，企業(yè)的核心應用場景比較單一，且由于數(shù)據(jù)量不大，OLTP數(shù)據(jù)庫完全能夠滿足企業(yè)的需要。隨著數(shù)字化轉(zhuǎn)型的不斷深入，數(shù)據(jù)量呈現(xiàn)出爆炸式增長的態(tài)勢，加之AI、大數(shù)據(jù)等新興技術(shù)的不斷發(fā)展，企業(yè)對于數(shù)據(jù)分析、處理的需求越來越多，OLAP則承擔了大數(shù)據(jù)分析、處理的需求。 

雖然我們能夠找到一個100%的OLAP系統(tǒng)，僅處理OLAP的需求，但是OLTP系統(tǒng)絕對不是100%的OLTP。因為，在數(shù)據(jù)驅(qū)動的今天，任何業(yè)務系統(tǒng)都會有一個簡單的子系統(tǒng)來處理即時報表，況且有些業(yè)務還自帶大量的統(tǒng)計查詢。 

為此，站在業(yè)務發(fā)展的角度，用戶希望用最簡單的方法解決接踵而至的即時分析需求，HTAP應運而生。為了滿足openGauss社區(qū)用戶、開發(fā)者的真實需要，在openGauss ３.0的基礎(chǔ)之上正式發(fā)布了openGauss 3.1版本，除了持續(xù)演進的“四高”能力之外，還采用了四大架構(gòu)創(chuàng)新技術(shù)，不但能夠同時支持數(shù)據(jù)實時交易和分析混合處理，并且大幅提升了可擴展性，更好的滿足了不斷變化的用戶場景需求。 

四大架構(gòu)創(chuàng)新技術(shù)，賦能企業(yè)核心場景應用

隨著企業(yè)核心應用場景的不斷變化，以及openGauss社區(qū)的蓬勃發(fā)展，行業(yè)的客戶和社區(qū)開發(fā)者對openGauss提出了大容量、易擴展、易觀測、易遷移、高安全等更多場景化要求。基于不同的場景化挑戰(zhàn)，openGauss3.1版本打造了資源池化架構(gòu)、可觀測架構(gòu)、插件化架構(gòu)、數(shù)據(jù)安全架構(gòu)四大架構(gòu)創(chuàng)新技術(shù)，并在高性能、高可用、高安全、高智能領(lǐng)域持續(xù)演進。 

1）資源池化架構(gòu): openGauss 3.1通過將計算池化、內(nèi)存池化、存儲池化，形成了三層資源池化模型，以應對大容量和易擴展帶來的挑戰(zhàn)。在存儲池化上，openGauss 3.1采用了多節(jié)點共用一份數(shù)據(jù)，去除了日志復制開銷，存儲成本下降50%以上；在內(nèi)存池化上，openGauss 3.1通過打通不同節(jié)點之間的內(nèi)存訪問通道，并疊加數(shù)據(jù)庫本身的事務同步能力，形成了多節(jié)點下的多版本一致性讀（MVCC）能力，應用不管從哪個節(jié)點接入，都能獲取到最新的一致性數(shù)據(jù)。數(shù)據(jù)一致性敏感型應用負載能夠容易地從單個節(jié)點透明擴展到多個節(jié)點。在計算池化上，采用ShardingSphere的分布式OLTP組件和基于openLooKeng的分布式OLAP組件（openLooKeng是華為開源的高性能數(shù)據(jù)融合分析引擎）。OLTP組件和OLAP組件所形成的HTAP架構(gòu)，實現(xiàn)了用戶表元數(shù)據(jù)的統(tǒng)一管理，為應用提供高并發(fā)低時延的OLTP和OLAP負載處理能力，很好地滿足了企業(yè)海量數(shù)據(jù)業(yè)務處理的訴求。

2）可觀測架構(gòu)：openGauss 3.1基于可觀測工程中的三大支柱打造了可觀測整體框架，實現(xiàn)對openGauss數(shù)據(jù)庫全棧的可觀測、可跟蹤、可診斷。在Logging方面，實現(xiàn)了對操作系統(tǒng)和數(shù)據(jù)庫性能指標的采集和查詢能力，并使用filebeat、Elasticsearch去收集系統(tǒng)日志和數(shù)據(jù)庫日志。在Metrics方面，利用Promehtheus組件實現(xiàn)了對監(jiān)控數(shù)據(jù)庫和操作系統(tǒng)的多維指標全棧監(jiān)控，以及基于指標數(shù)據(jù)的故障預測預防。在Tracing方面，利用eBPF技術(shù)以及實時SQL跟蹤，實現(xiàn)對性能問題和故障的分析和診斷。

3）插件化架構(gòu)：openGauss 3.1全面升級了對MySQL數(shù)據(jù)庫的內(nèi)核兼容性和遷移能力，讓企業(yè)從MySQL數(shù)據(jù)庫遷移到openGauss更加方便、快捷。在MySQL兼容性方面，通過對SQL引擎增加數(shù)據(jù)庫擴展點，組織openGauss社區(qū)和DBV合作伙伴共同開發(fā)MySQL語法特性，目前已兼容 450個以上的MySQL語法特性，并以插件形式，動態(tài)加載，支持熱插拔，實現(xiàn)了MySQL的無感切換。在MySQL遷移方面，全量遷移實現(xiàn)單節(jié)點一個小時在線遷移1TB數(shù)據(jù)，大幅提升遷移效率。在增量遷移上，實現(xiàn)了每秒鐘30000TPS的多線程日志回放。與此同時，在數(shù)據(jù)校驗方面，利用默克爾樹校驗算法實現(xiàn)遷移過程數(shù)據(jù)不一致的實時發(fā)現(xiàn)。在并線運行方面，實現(xiàn)了遷移后新舊系統(tǒng)并行工作，支持日志反向同步，極端故障場景下實現(xiàn)了快速逃生的能力。

4）數(shù)據(jù)安全架構(gòu)：openGauss 3.1采用的數(shù)據(jù)安全架構(gòu)不但支持基于同態(tài)加密的全密態(tài)數(shù)據(jù)庫，還支持TEE軟硬協(xié)同安全加密，全面支持國密算法，全面符合數(shù)字安全法規(guī)要求，進一步提高了數(shù)據(jù)的安全性。

 除了四大架構(gòu)創(chuàng)新技術(shù)之外，openGauss 3.1在“高性能、高可靠、高安全、高智能”四個方面持續(xù)創(chuàng)新。例如在高智能方面，openGauss 3.1采用貝葉斯網(wǎng)絡算法準確評估復雜場景下的關(guān)聯(lián)列基數(shù)，大幅提升了多列基數(shù)估計準確度。實驗表明，在1000萬的數(shù)據(jù)中建立4個關(guān)聯(lián)列和4個關(guān)聯(lián)索引，如果采用獨立假性算法基數(shù)預估將產(chǎn)生76倍誤差，采用多列高頻統(tǒng)計算法將產(chǎn)生6倍的誤差，而采用貝葉斯網(wǎng)絡算法誤差僅有1.1倍。

 在實現(xiàn)上，優(yōu)化器深度融合了DB4AI的能力，引入了統(tǒng)計信息分析器，包含模型創(chuàng)建、模型訓練、模型推理、模型應用等核心AI組件，復雜關(guān)聯(lián)列查詢SQL端到端性能比友商所采取算法提升超過30%，成為采用AI技術(shù)解決經(jīng)典數(shù)據(jù)庫難題的創(chuàng)新之舉。

 在高可用方面，openGauss 3.1基于發(fā)布訂閱模式的邏輯復制，實現(xiàn)數(shù)據(jù)雙向同步和異地多活。由于openGauss 3.1發(fā)布端數(shù)據(jù)備份中包含了邏輯復制槽，因此實現(xiàn)了備份恢復后發(fā)布訂閱不中斷；此外，openGauss 3.1支持發(fā)布訂閱同步基礎(chǔ)數(shù)據(jù)，增量同步無縫銜接；支持以二進制格式發(fā)送數(shù)據(jù)，降低網(wǎng)絡傳輸開銷；支持發(fā)布端主備切換時訂閱端自動連接；支持多節(jié)點相互訂閱，解決循環(huán)訂閱問題。與此同時，邏輯復制功能由openGauss 3.1內(nèi)核集成，無需額外安裝第三方工具且。

 正是有了四大架構(gòu)創(chuàng)新技術(shù)的加持，以及不斷進化的“四高”能力，使得openGauss 3.1的核心優(yōu)勢愈發(fā)凸顯，為社區(qū)用戶、開發(fā)者提供了全新的選擇，成為企業(yè)核心應用場景的首選，為從OLTP到HTAP轉(zhuǎn)換，滿足市場需求，提供了更好的選擇。

 驅(qū)動產(chǎn)品創(chuàng)新與市場需求螺旋式成長，攜手夯實企業(yè)數(shù)字化轉(zhuǎn)型基石

打造根技術(shù)，建設根社區(qū)，發(fā)展新生態(tài)，openGauss社區(qū)的每一次技術(shù)突破，每一個行業(yè)創(chuàng)新實踐，都離不開數(shù)據(jù)庫伙伴、客戶和開發(fā)者的努力。

 openGauss社區(qū)自上線以來，始終圍繞市場需求進行技術(shù)創(chuàng)新，并將用戶和開發(fā)者的訴求放在首位。通過開放開源的平臺，openGauss社區(qū)將產(chǎn)業(yè)生態(tài)鏈的上下游合作伙伴、開發(fā)者匯集到一起，驅(qū)動產(chǎn)品創(chuàng)新和市場需求螺旋式成長。

經(jīng)過2年多的發(fā)展，openGauss開源社區(qū)已經(jīng)在技術(shù)、生態(tài)、商業(yè)和社區(qū)治理等方面穩(wěn)健推進，快速成長。截至目前，已有185家企業(yè)和機構(gòu)加入社區(qū)，4000多名開發(fā)者參與社區(qū)貢獻，23000套商業(yè)落地方案，適配了500多個行業(yè)應用，已經(jīng)在金融、政府、電信、能源、制造、交通等行業(yè)核心業(yè)務中規(guī)模商用。此外，openGauss全球下載量達到100萬套，觸達了90個國家、800多個城市。

 openGauss 3.1版本推出之后，將成為openGauss社區(qū)的主力版本。社區(qū)中的用戶、開發(fā)者，也將會基于openGauss 3.1打造出更多行業(yè)的應用，解決更多企業(yè)面臨的挑戰(zhàn)。而華為將與來自不同行業(yè)的合作伙伴，基于openGauss 3.1版本開發(fā)更多的商業(yè)落地案例，為千行百業(yè)提供更好的數(shù)據(jù)庫解決方案。

 未來，openGauss開源社區(qū)將持續(xù)圍繞用戶、開發(fā)者的實際需求，緊貼市場需求，緊密攜手生態(tài)伙伴，不斷加速創(chuàng)新步伐，全力夯實企業(yè)數(shù)字化轉(zhuǎn)型基石，將中國數(shù)據(jù)庫產(chǎn)業(yè)發(fā)展推入全新紀元。