在 2018 云棲大會(huì)上海峰會(huì)中，來(lái)自阿里巴巴數(shù)據(jù)庫(kù)的高級(jí)技術(shù)專家王林平為現(xiàn)場(chǎng)的聽(tīng)眾帶來(lái)了題為《互聯(lián)網(wǎng)架構(gòu)轉(zhuǎn)型中的數(shù)據(jù)庫(kù)實(shí)踐》的精彩分享。

在本次分享中，他重點(diǎn)介紹了互聯(lián)網(wǎng)發(fā)展經(jīng)歷的痛點(diǎn)，數(shù)據(jù)傳輸 DTS，阿里巴巴數(shù)據(jù)管理，混合云數(shù)據(jù)庫(kù)管理，數(shù)據(jù)庫(kù)備份，基于 HDM、DBS、DTS 的容災(zāi)解決方案等。

▍互聯(lián)網(wǎng)數(shù)據(jù)庫(kù)發(fā)展經(jīng)歷的痛點(diǎn)

互聯(lián)網(wǎng)數(shù)據(jù)庫(kù)發(fā)展過(guò)程中，我們?cè)谧?IT 建設(shè)的時(shí)候都會(huì)碰到一些痛點(diǎn)。在這個(gè)過(guò)程中，如何解決這些痛點(diǎn)非常重要。***，許多企業(yè)都會(huì)面臨的數(shù)據(jù)和業(yè)務(wù)都會(huì)從簡(jiǎn)單到復(fù)雜，數(shù)據(jù)量由小到大的過(guò)程，在這個(gè)過(guò)程中，數(shù)據(jù)可能會(huì)出現(xiàn)在單一的數(shù)據(jù)庫(kù)無(wú)法存儲(chǔ)的情況，那么這個(gè)時(shí)候我們?nèi)绾翁嵘龜U(kuò)展性呢? 第二，我們的業(yè)務(wù)發(fā)展了，數(shù)據(jù)也發(fā)展了，但是人有沒(méi)有跟上業(yè)務(wù)發(fā)展的節(jié)奏呢? 第三，我們的企業(yè)在從小到大的過(guò)程中多多少少都會(huì)有一些核心的數(shù)據(jù)，比如客戶的用戶信息，包括一些基礎(chǔ)性配置信息。這些信息很多時(shí)候是企業(yè)里很多部門都能用到的，那么核心數(shù)據(jù)如何共享呢? 同時(shí)，企業(yè)在用不同的數(shù)據(jù)庫(kù)的過(guò)程中，這些數(shù)據(jù)庫(kù)之間的數(shù)據(jù)怎么進(jìn)行數(shù)據(jù)交互也是我們面臨的一個(gè)痛點(diǎn)。第四，我們的研發(fā)人員和控制人員也會(huì)隨著業(yè)務(wù)規(guī)模的增長(zhǎng)不斷增加，我們?cè)鯓釉谌藛T多的時(shí)候保證數(shù)據(jù)的安全和規(guī)范性，同時(shí)又不影響開(kāi)發(fā)和測(cè)試的效率呢? ***，數(shù)據(jù)是企業(yè)的核心資產(chǎn)，如何提高數(shù)據(jù)庫(kù)的容災(zāi)能力，保證我們的數(shù)據(jù)不會(huì)因?yàn)樘鞛?zāi)人禍等丟失? 下面以阿里巴巴整個(gè)改造過(guò)程中碰到的痛點(diǎn)來(lái)介紹一下我們的產(chǎn)品。

上圖為阿里巴巴分布式數(shù)據(jù)庫(kù)的發(fā)展歷程。目前阿里巴巴通過(guò)分布式數(shù)據(jù)庫(kù)解決問(wèn)題。DRDS 產(chǎn)品支持多維度的拆分，比如說(shuō)我們可以按照交易的 ID、客戶的 ID、按照時(shí)間來(lái)做拆分。

上圖為分布式數(shù)據(jù)庫(kù) DRDS 的一個(gè)典型客戶案例，一個(gè)電信運(yùn)營(yíng)商的案例。它在業(yè)務(wù)發(fā)展的過(guò)程中有增速快、擴(kuò)展性存在瓶頸的痛點(diǎn)。同時(shí)，如果客戶用傳統(tǒng)的方法拆分?jǐn)?shù)據(jù)庫(kù)就面臨著應(yīng)用改造成本高的問(wèn)題。DRDS 提升了存儲(chǔ)擴(kuò)展能力和計(jì)算能力，訪問(wèn)應(yīng)用透明、平滑擴(kuò)容、透明生配、透明讀寫(xiě)分離解決了客戶應(yīng)用改造成本高的問(wèn)題。

▍阿里巴巴數(shù)據(jù)傳輸

產(chǎn)品有三個(gè)核心能力：支持傳輸同步，支持?jǐn)?shù)據(jù)庫(kù)遷移，支持?jǐn)?shù)據(jù)的訂閱。可以將數(shù)據(jù)變化轉(zhuǎn)換成消息發(fā)送給下游，下游可以根據(jù)這個(gè)消息進(jìn)行應(yīng)用的電話的消費(fèi)。

上圖為數(shù)據(jù)傳輸 DTS 的架構(gòu)。在下層我們支持云數(shù)據(jù)庫(kù)，包括 ECS 自建數(shù)據(jù)庫(kù)，用戶 IDC 數(shù)據(jù)庫(kù)以及集團(tuán)、螞蟻。通過(guò)產(chǎn)品可以把數(shù)據(jù)遷移到不同的目標(biāo)端，同時(shí)也支持?jǐn)?shù)據(jù)同步訂閱。我們可以把數(shù)據(jù)庫(kù)的數(shù)據(jù)轉(zhuǎn)換成文件。

上圖為數(shù)據(jù)傳輸 DTS 客戶案例。客戶面臨的主要問(wèn)題有：本地的 Oracle 數(shù)據(jù)庫(kù)是客戶業(yè)務(wù)的性能瓶頸，活動(dòng)時(shí)，Oracle 上的存儲(chǔ)過(guò)程占用了實(shí)例將近 80% 的 CPU。并且要求在系統(tǒng)持續(xù)運(yùn)行、不停機(jī)的情況下將 Oracle 上業(yè)務(wù)遷移到阿里云 DRDS。解決方案為：通過(guò) DTS 搭建 Oracle 到 DRDS 實(shí)例間的實(shí)時(shí)同步鏈路，保證 DRDS 與 Oracle 數(shù)據(jù)實(shí)時(shí)同步。在 DRDS 和 Oracle 實(shí)例間的數(shù)據(jù)保持實(shí)時(shí)同步后，業(yè)務(wù)選擇任一時(shí)刻，將部分流量切換到阿里云上的 DRDS。通過(guò) DTS，將 DTS 上產(chǎn)生的業(yè)務(wù)流量流回 Oracle,Oracle 和 DRDS 在業(yè)務(wù)完成割接期間互為災(zāi)備，保證業(yè)務(wù)連續(xù)性。阿里巴巴數(shù)據(jù)管理的前世今生。通過(guò)信息化統(tǒng)一管理數(shù)據(jù)庫(kù)，同時(shí)通過(guò)非運(yùn)維操作的規(guī)則化，自動(dòng)化，規(guī)則加流暢的自助變更，目前 DMS 已經(jīng)在公有云端正式商業(yè)化了，同時(shí)也支持私有化輸出。

▍混合云數(shù)據(jù)庫(kù)管理 HDM

上圖為混合云數(shù)據(jù)庫(kù)管理 HDM 架構(gòu)與能力，我們?nèi)粘＿\(yùn)維的工作基本上可以由 HDM 來(lái)解決。HDM 的核心能力包括：打通混合云數(shù)據(jù)庫(kù)架構(gòu)，多環(huán)境統(tǒng)一管理，自動(dòng)化運(yùn)維低成本，容災(zāi)切換，快速?gòu)椥詳U(kuò)容，一鍵切換，穩(wěn)定、容災(zāi)、彈性。

上圖所示為基于 HDM、DBS、DTS 的容災(zāi)解決方案。***級(jí)的方式就是我們把本地的備份直接的通過(guò)拉文件的方式扔到 OSS 上，當(dāng)然這樣比較低級(jí)。第二個(gè)就是我們可以通過(guò) DBS 實(shí)時(shí)備份上云，備份后也可以通過(guò) DBS 還原到本地或者 RDS 上。第三我們通過(guò) DTS 將云下的數(shù)據(jù)庫(kù)同步到云上的 RDS。我們?cè)粕系?RDS 跟云下形成一個(gè)災(zāi)備，也就是說(shuō)一旦我們本地的 IDC 無(wú)法訪問(wèn)的時(shí)候，我們就可以訪問(wèn)云上的 RDS 來(lái)保證業(yè)務(wù)的持續(xù)性。這場(chǎng)景是說(shuō)我們?cè)葡潞驮粕峡梢詫?shí)現(xiàn)雙向同步。這個(gè)雙向同步其實(shí)可以實(shí)現(xiàn)異地多活，就是說(shuō)我們?cè)?A 機(jī)房有一套數(shù)據(jù)庫(kù)，B 機(jī)房有一套數(shù)據(jù)庫(kù)，進(jìn)行雙向同步，這兩個(gè)雙向同步可以支撐 IDC 訪問(wèn)，云上也可以訪問(wèn)。只要應(yīng)用端建設(shè)的足夠好，那么這個(gè)雙活是可以實(shí)現(xiàn)的。同時(shí)基于我們的 HDM 可以打通我們的用戶 IDC 和云上云下，實(shí)現(xiàn)數(shù)據(jù)庫(kù)的容災(zāi)一鍵切換。

▍企業(yè)級(jí)數(shù)據(jù)庫(kù)產(chǎn)品架構(gòu)

剛才跟大家一起分享了幾個(gè)產(chǎn)品，下面我們來(lái)回顧一下這幾個(gè)產(chǎn)品的一些能力。首先是分布性數(shù)據(jù)庫(kù) DRDS。我們可以理解它是一個(gè)存儲(chǔ)層，來(lái)滿足數(shù)據(jù)庫(kù)的擴(kuò)展能力。第二個(gè)就是我們的數(shù)據(jù)傳輸。數(shù)據(jù)傳輸實(shí)現(xiàn)了數(shù)據(jù)遷移、同步和訂閱的能力，它可以把云外的數(shù)據(jù)庫(kù)和云上的數(shù)據(jù)庫(kù)打通。同時(shí)它不僅限于這些功能，包括我們自己內(nèi)部。第三是我們的數(shù)據(jù)管理，可以理解它是一個(gè)數(shù)據(jù)庫(kù)層面的 DevOps，讓我們企業(yè)的開(kāi)發(fā)人員和測(cè)試人員不用進(jìn)行太多的互動(dòng)就可以完成數(shù)據(jù)管理這件事。還有就是我們的數(shù)據(jù)庫(kù)備份 DBS，來(lái)以較低的成本滿足企業(yè)備份數(shù)據(jù)的需求。***就是我們的混合云數(shù)據(jù)管理 HDM，可以打通云上云下的數(shù)據(jù)庫(kù)，實(shí)現(xiàn)一鍵容災(zāi)切換。

▍企業(yè)級(jí)數(shù)據(jù)庫(kù)解決方案 

除了產(chǎn)品之外，我們還會(huì)輸出一些解決方案，解決方案是依賴于產(chǎn)品的，給我們廣大企業(yè)提供一些方案。像研發(fā)效率保障和數(shù)據(jù)安全方案，這個(gè)是基于 DMS。也就是說(shuō)我們?cè)谳敵龅臅r(shí)候，我們會(huì)幫企業(yè)把我們的產(chǎn)品用起來(lái)，同時(shí)給我們的企業(yè)一些建議，比如說(shuō)我們?cè)趺慈プ龅礁咝А⒏踩⒏弦?guī)的數(shù)據(jù)管理體系。第二是 DTS。DTS 本身具有數(shù)據(jù)遷移、同步的功能，同時(shí)也有訂閱功能，那我們會(huì)協(xié)助企業(yè)一起把 DTS 用起來(lái)，能夠把數(shù)據(jù)搬到云上。再就是我們基于 HDM、DBS 和 DTS，會(huì)給我們企業(yè)輸出多層級(jí)的容災(zāi)解決方案。