“在昨天下午北京云棲大會TechInsight，阿里巴巴數(shù)據(jù)庫團隊的8位專家一同分享了阿里數(shù)據(jù)庫***實踐。超大規(guī)模的業(yè)務壓力，在阿里巴巴內部淬煉出了一套完整的企業(yè)數(shù)據(jù)庫解決方案：超大數(shù)據(jù)規(guī)模的分庫分表技術、毫秒級別的跨地區(qū)數(shù)據(jù)傳輸、秒級RPO的備份技術、混合云數(shù)據(jù)庫管理、支撐數(shù)萬研發(fā)的數(shù)據(jù)庫devops平臺、基于機器學習的智能數(shù)據(jù)庫優(yōu)化技術。” 

釘釘、優(yōu)酷、高德、盒馬、菜鳥、飛豬、蝦米、阿里智能，現(xiàn)在阿里巴巴的業(yè)務已經(jīng)不再是幾年前的淘寶天貓了。對于阿里數(shù)據(jù)庫技術團隊也不再是簡單電商場景了。今天阿里的數(shù)據(jù)庫不再是簡單的電商業(yè)務，而是涵蓋了視頻娛樂、IM、地圖、在線零售、新零售、物流、在線旅游、音樂、IoT等等縱多領域。同時，雙十一交易從2012年的191億增長到了2017年1682億，數(shù)據(jù)庫上的交易峰值也以數(shù)十倍的速度在增長。另外，阿里巴巴的全球化戰(zhàn)略，給數(shù)據(jù)庫基礎服務帶來新的挑戰(zhàn)。 

豐富的業(yè)務場景、極端的業(yè)務壓力、全球化的挑戰(zhàn)，讓阿里數(shù)據(jù)庫技術團隊淬煉出一套適合企業(yè)的數(shù)據(jù)庫的實踐。 

超大數(shù)據(jù)規(guī)模下的分庫分表技術實踐 

在阿里巴巴去IOE的浪潮中，數(shù)據(jù)庫面臨的***個問題就是，運行在普通PC Server上的MySQL在單機容量、性能等方面無法直接替換原來的存儲和小型機架構。另外，如果單個MySQL數(shù)據(jù)庫太大，給數(shù)據(jù)庫備份、DDL變更等都會帶來很大的復雜度。DRDS（內部版本為TDDL）就是在這樣的背景下產(chǎn)生的，通過DRDS的分庫分表功能，化整為零，一方面讓核心數(shù)據(jù)庫的壓力分到多個分庫中，實現(xiàn)了性能和容量的巨大的擴展能力；另外，單個較小庫表也給維護帶來很大的便利。在剛剛過去的的雙十一，交易核心庫承擔約32.5萬/秒的交易創(chuàng)建，如果是傳統(tǒng)的集中式架構很難想象需要怎樣的硬件支撐。

毫秒級延遲的數(shù)據(jù)傳輸服務 

在兩年前，阿里巴巴上線了數(shù)據(jù)中心異地雙活項目。阿里在全國很多地方都有數(shù)據(jù)中心，異地雙活一個***的挑戰(zhàn)就是如何在毫秒的級別實現(xiàn)跨地區(qū)數(shù)據(jù)中心的數(shù)據(jù)同步。如果這個延遲很大，舉個例子，賣家更改了一個商品描述、或者修改了價格，那么有的地區(qū)的用戶可能很久才能看到，這對買家和買家體驗上都是巨大的犧牲。 

我們早在2010年就開始在數(shù)據(jù)庫流技術做了很大的投入，通過在網(wǎng)絡傳輸、并發(fā)寫入等方面的***優(yōu)化，保證了多數(shù)據(jù)中心毫秒級的數(shù)據(jù)復制延遲。 

2015年，我們在阿里云上也以產(chǎn)品的形式輸出阿里巴巴數(shù)據(jù)流技術：數(shù)據(jù)傳輸DTS。除了復雜異地多活，DTS還可以解決很多企業(yè)內部數(shù)據(jù)流的問題，例如在線數(shù)據(jù)庫上的數(shù)據(jù)變更，可能同時有數(shù)個下游需要這些數(shù)據(jù)，比如數(shù)據(jù)倉庫、搜索、相關業(yè)務、實時大屏等。在云端，我們的一個典型的客戶的場景，當有新的用戶進行某個操作（或者是一次購買，或者是某次簽到），那么下游的運營系統(tǒng)，可能要實時對用戶行為進行一次分析，同時根據(jù)智能的分析，決定向用戶推送某個實用的信息或者運營消息等。 

基于數(shù)據(jù)流技術的，秒級RPO備份技術 

數(shù)據(jù)傳輸DTS是通過日志獲取的方式來獲得數(shù)據(jù)變更。這項技術的另一個創(chuàng)新應用就是，實現(xiàn)秒級RPO的在線數(shù)據(jù)備份，這種備份構想已經(jīng)通過“數(shù)據(jù)庫備份DBS”產(chǎn)品在阿里云上賦能企業(yè)用戶。我們先對數(shù)據(jù)庫進行一次全量備份，然后使用DTS相同在線日志獲取技術獲取***的數(shù)據(jù)庫日志，然后對日志進行存儲歸檔，從而實現(xiàn)秒級RPO的備份解決方案。 

目前，云上的用戶已經(jīng)可以DBS進行數(shù)據(jù)庫備份。針對云環(huán)境的特殊性，我們新增了加密傳輸和存儲模塊，存儲的目標也支持標準、低頻、歸檔多種OSS存儲類型，讓用戶可以更低成本、更安全的使用秒級RPO的數(shù)據(jù)備份解決。 

支撐數(shù)十個機房，數(shù)十萬實例的混合云數(shù)據(jù)庫管控技術 

阿里巴巴數(shù)據(jù)庫管控系統(tǒng)發(fā)展至今已經(jīng)到了第四代架構，第四代架構是基于BASE理論和微服務架構下完成，實現(xiàn)了管控系統(tǒng)的多機房容災問題。另外，海量的數(shù)據(jù)庫管理也帶來更多的挑戰(zhàn)：全網(wǎng)秒級監(jiān)控讓您輕松掌握數(shù)據(jù)庫上千個指標，抓住數(shù)據(jù)庫每一個細節(jié)；異地多活讓你如何通過一鍵完成異地數(shù)據(jù)庫搭建，實現(xiàn)異地數(shù)據(jù)庫服務；一般管控系統(tǒng)更多聚焦在運維層面，而阿里的企業(yè)級服務還具備更多垂直的數(shù)據(jù)庫能力，例如數(shù)據(jù)軌跡、數(shù)據(jù)回滾、數(shù)據(jù)庫壓測、業(yè)務大盤等。 

支撐數(shù)萬數(shù)據(jù)庫用戶的DevOps數(shù)據(jù)管理平臺 

企業(yè)規(guī)模快速發(fā)展，帶來的兩個大的挑戰(zhàn)，管理的數(shù)據(jù)庫數(shù)量巨大，使用數(shù)據(jù)庫員工也非常多。但是，DBA團隊卻很難以相同的比率增長。具體的，我們發(fā)現(xiàn)，DBA業(yè)務壓力巨大，需要處理事情繁多；同時，新入職的員工，對于數(shù)據(jù)庫開發(fā)標準并不熟悉，給線上數(shù)據(jù)庫的穩(wěn)定性帶了很大隱患。 

既要有DBA的安全把控能力，又希望高效支撐大量業(yè)務的發(fā)展，阿里數(shù)據(jù)庫團隊研發(fā)了自己的企業(yè)數(shù)據(jù)庫管理平臺：iDB。企業(yè)內部的研發(fā)、測試等人員，可以使用iDB完成大部分數(shù)據(jù)庫相關的操作，包括數(shù)據(jù)查詢、數(shù)據(jù)變更、結構變更、實例申請等等。另外，iDB產(chǎn)品中還繼承了大量DBA的經(jīng)驗，比如判斷哪些DDL會鎖表、InnoDB表結構設計是需要主要哪些問題等等。 

iDB上可以閉環(huán)完成所有的數(shù)據(jù)庫服務，包括實例申請、庫表設計、變更發(fā)布、數(shù)據(jù)查詢、數(shù)據(jù)變更、邏輯表查詢、數(shù)據(jù)庫下線等全生命周期的數(shù)據(jù)庫實例管理。同時，通過平臺集成的數(shù)據(jù)庫能力，讓研發(fā)有了更強數(shù)據(jù)庫能力，也保障了線上業(yè)務的穩(wěn)定。

我們已經(jīng)將iDB的設計理念通過數(shù)據(jù)管理DMS企業(yè)版進行云上輸出，根據(jù)企業(yè)流程定制數(shù)據(jù)庫DevOps生命周期，期待DMS企業(yè)版能夠大放光彩。

基于機器學習的智能數(shù)據(jù)庫性能優(yōu)化技術 

隨著阿里巴巴快速擴張，傳統(tǒng)的DBA支持的性能優(yōu)化模式的弊端很快就體現(xiàn)出來：被動優(yōu)化(監(jiān)控/報警/慢SQL/應用報錯等)；優(yōu)化過程耗時耗力且低效，較難形成閉環(huán)；優(yōu)化結果受限于人的局限性；優(yōu)化操作大規(guī)模復雜場景下缺乏擴展性；優(yōu)化決策過程中數(shù)據(jù)價值缺失；DBA專家緊缺與數(shù)據(jù)庫服務要求高效及時之間的矛盾越來越突出。 

智能數(shù)據(jù)庫性能優(yōu)化技術在性能優(yōu)化上分五大部分：收集、分析、預測、優(yōu)化、驗證。可以完整的、自助的完成優(yōu)化并評估優(yōu)化的效果。給企業(yè)帶來多方面的價值。信息透明：向開發(fā)人員提供全面專業(yè)的數(shù)據(jù)庫信息分析和展示。自助化服務：全面專業(yè)的診斷優(yōu)化建議，診斷流 程閉環(huán)，提供自助優(yōu)化服務。自診斷、自優(yōu)化：基于海量數(shù)據(jù)和機器學習的自診斷、自優(yōu)化能力。降低成本：發(fā)現(xiàn)規(guī)模化優(yōu)化點，優(yōu)化資源管理，降低計算和存儲成本。專家經(jīng)驗產(chǎn)品化：DBA專家優(yōu)化經(jīng)驗轉服務產(chǎn)品化，降低人工成本，提高服務質量和效率。主動優(yōu)化：持續(xù)主動優(yōu)化數(shù)據(jù)庫性能，提高數(shù)據(jù)庫穩(wěn)定性。