前一段時(shí)間有應(yīng)用要進(jìn)行雙活改造，聊到數(shù)據(jù)庫(kù)的對(duì)稱雙活架構(gòu)，看了下同業(yè)在應(yīng)用雙活尤其是數(shù)據(jù)庫(kù)雙活設(shè)計(jì)的時(shí)候，沒有一個(gè)最佳的實(shí)施方案。本文簡(jiǎn)單介紹下應(yīng)用層和數(shù)據(jù)庫(kù)層的同城雙活設(shè)計(jì)方案，對(duì)比了不同方案的優(yōu)缺點(diǎn)，以在實(shí)際選擇時(shí)候作為參考。

1、應(yīng)用層同城雙活架構(gòu)

同城雙活架構(gòu)是指在同一個(gè)城市或地理區(qū)域內(nèi)，構(gòu)建兩個(gè)或多個(gè)數(shù)據(jù)中心，也就是常說的Region的概念，這些在同一個(gè)Region內(nèi)的數(shù)據(jù)中心同時(shí)對(duì)外提供服務(wù)，實(shí)現(xiàn)資源的充分利用和業(yè)務(wù)流量的負(fù)載均衡。同城雙活架構(gòu)有以下特性：

• 高可用性：由于有兩個(gè)或多個(gè)數(shù)據(jù)中心同時(shí)運(yùn)行，當(dāng)一個(gè)數(shù)據(jù)中心出現(xiàn)故障或維護(hù)時(shí)，另一個(gè)數(shù)據(jù)中心可以迅速接管服務(wù)，確保業(yè)務(wù)的連續(xù)性和穩(wěn)定性。這種架構(gòu)顯著提高了系統(tǒng)的容錯(cuò)能力和可用性。
• 負(fù)載均衡：同城雙活架構(gòu)可以實(shí)現(xiàn)流量的動(dòng)態(tài)分配和負(fù)載均衡，根據(jù)各個(gè)數(shù)據(jù)中心的負(fù)載情況，智能地將用戶請(qǐng)求分發(fā)到不同的數(shù)據(jù)中心，從而優(yōu)化資源利用，提高系統(tǒng)的整體性能和響應(yīng)速度。
• 容災(zāi)備份：同城雙活架構(gòu)相互之間具備容災(zāi)備份的功能。當(dāng)一個(gè)數(shù)據(jù)中心出現(xiàn)故障時(shí)，另一個(gè)數(shù)據(jù)中心可以迅速接管業(yè)務(wù)，確保數(shù)據(jù)的完整性和業(yè)務(wù)的不間斷運(yùn)行。

在雙活架構(gòu)的實(shí)現(xiàn)上，由于應(yīng)用多數(shù)是無狀態(tài)的，通過DNS和負(fù)載均衡在接入層實(shí)現(xiàn)流量動(dòng)態(tài)分發(fā)，應(yīng)用層按照豎井式架構(gòu)部署，如下圖所示。生產(chǎn)站點(diǎn)和同城站點(diǎn)在部署資源上完全對(duì)等，并具備同時(shí)接管承載兩個(gè)站點(diǎn)流量的能力，當(dāng)生產(chǎn)站點(diǎn)或者同城站點(diǎn)的應(yīng)用出現(xiàn)異常時(shí)，將流量快速切換到一個(gè)站點(diǎn)，提升了業(yè)務(wù)的可用性。

圖片

上述高可用架構(gòu)中，雖然在應(yīng)用層實(shí)現(xiàn)了同城雙活，但是同城中心的應(yīng)用是要寫回生產(chǎn)的數(shù)據(jù)庫(kù)主節(jié)點(diǎn)，依賴數(shù)據(jù)庫(kù)層的數(shù)據(jù)同步保證同城站點(diǎn)的數(shù)據(jù)一致性。當(dāng)生產(chǎn)站點(diǎn)數(shù)據(jù)庫(kù)出現(xiàn)異?；蛘哒军c(diǎn)級(jí)別異常時(shí)，通過自動(dòng)或者手動(dòng)的方式切換到同城站點(diǎn)，但是這個(gè)切換過程其實(shí)是有損的，故障期間業(yè)務(wù)會(huì)出現(xiàn)全局性的不可用。那么想進(jìn)一步提高業(yè)務(wù)的可用性，降低站點(diǎn)級(jí)故障的業(yè)務(wù)影響，實(shí)現(xiàn)數(shù)據(jù)庫(kù)層的同城雙活架構(gòu)，將如何實(shí)現(xiàn)？

2、數(shù)據(jù)庫(kù)層同城雙活實(shí)現(xiàn)

2.1 常用的數(shù)據(jù)復(fù)制技術(shù)

在探討數(shù)據(jù)庫(kù)層的雙活架構(gòu)實(shí)現(xiàn)之前，先來看下在同城架構(gòu)中常用的數(shù)據(jù)復(fù)制技術(shù)有哪些。數(shù)據(jù)復(fù)制是指將一組數(shù)據(jù)從一個(gè)數(shù)據(jù)源拷貝到一個(gè)或多個(gè)數(shù)據(jù)源的技術(shù)，在同城雙活架構(gòu)中有明確的RPO和RTO要求，因此數(shù)據(jù)復(fù)制的性能和時(shí)效性是技術(shù)選擇的重要考量。常用的數(shù)據(jù)復(fù)制技術(shù)包括幾種：

圖片

• 基于應(yīng)用的數(shù)據(jù)復(fù)制：通過應(yīng)用程序與主備中心的數(shù)據(jù)庫(kù)進(jìn)行同步或異步的寫操作，以保證主備中心數(shù)據(jù)的一致性。這種方式技術(shù)實(shí)現(xiàn)復(fù)雜，與應(yīng)用軟件業(yè)務(wù)邏輯直接關(guān)聯(lián)，實(shí)現(xiàn)和維護(hù)難度較高，并且會(huì)提高系統(tǒng)的風(fēng)險(xiǎn)與數(shù)據(jù)丟失的風(fēng)險(xiǎn)，在實(shí)際場(chǎng)景中很少使用到。
• 基于數(shù)據(jù)庫(kù)的數(shù)據(jù)復(fù)制：利用數(shù)據(jù)庫(kù)自身的數(shù)據(jù)庫(kù)日志基于邏輯復(fù)制或物理復(fù)制的方式，將數(shù)據(jù)同步或異步的方式復(fù)制到備節(jié)點(diǎn)，實(shí)現(xiàn)主備數(shù)據(jù)的一致性?；跀?shù)據(jù)庫(kù)層的復(fù)制技術(shù)依賴于各數(shù)據(jù)庫(kù)產(chǎn)品自身的能力，能夠?qū)崿F(xiàn)記錄級(jí)和事務(wù)級(jí)的數(shù)據(jù)一致性，技術(shù)方案成熟穩(wěn)定并且網(wǎng)絡(luò)占用帶寬小，是主流的數(shù)據(jù)復(fù)制方案。
• 基于主機(jī)的數(shù)據(jù)復(fù)制：由安裝在主機(jī)上的卷管理軟件或是文件系統(tǒng)來實(shí)現(xiàn)，在實(shí)際的應(yīng)用場(chǎng)景中，以基于卷管理軟件的數(shù)據(jù)復(fù)制技術(shù)居多，這種方式通常與主機(jī)平臺(tái)相關(guān)，對(duì)軟件的要求較高。通過主機(jī)數(shù)據(jù)管理軟件實(shí)現(xiàn)數(shù)據(jù)的遠(yuǎn)程復(fù)制，當(dāng)主數(shù)據(jù)中心的數(shù)據(jù)遭到破壞時(shí)，可以隨時(shí)從備份中心恢復(fù)應(yīng)用或從備份中心恢復(fù)數(shù)據(jù)。一般用于備份容災(zāi)環(huán)境的數(shù)據(jù)同步或恢復(fù)，實(shí)際應(yīng)用案例也不多。
• 基于存儲(chǔ)設(shè)備的數(shù)據(jù)復(fù)制：利用存儲(chǔ)陣列自身的盤陣對(duì)盤陣的數(shù)據(jù)塊復(fù)制技術(shù)實(shí)現(xiàn)對(duì)生產(chǎn)數(shù)據(jù)的遠(yuǎn)程拷貝，分為同步方式和異步方式，同步方式可以保證后備磁盤陣列中的數(shù)據(jù)與生產(chǎn)系統(tǒng)數(shù)據(jù)同步，實(shí)現(xiàn)RPO為零。該復(fù)制技術(shù)依賴于存儲(chǔ)設(shè)備的功能，要求是同構(gòu)的存儲(chǔ)系統(tǒng)，并且對(duì)帶寬的要求較高。
• 基于存儲(chǔ)虛擬化的數(shù)據(jù)復(fù)制：與基于存儲(chǔ)設(shè)備的復(fù)制技術(shù)類似，不同之處是由存儲(chǔ)虛擬化控制器在存儲(chǔ)網(wǎng)絡(luò)層面實(shí)現(xiàn)，不要求底層存儲(chǔ)陣列同構(gòu)。

2.2 數(shù)據(jù)庫(kù)同城雙寫的難點(diǎn)

在數(shù)據(jù)庫(kù)主備節(jié)點(diǎn)的高可用部署架構(gòu)中，如果要實(shí)現(xiàn)數(shù)據(jù)庫(kù)雙寫，涉及到將數(shù)據(jù)同時(shí)寫入多個(gè)數(shù)據(jù)庫(kù)實(shí)例，在技術(shù)實(shí)現(xiàn)上存在諸多難點(diǎn)。

1）數(shù)據(jù)一致性問題

• 在主備庫(kù)同步過程中，由于網(wǎng)絡(luò)延遲、硬件故障等可能存在主備數(shù)據(jù)不一致的情況，當(dāng)主庫(kù)成功寫入數(shù)據(jù)但是從庫(kù)沒有及時(shí)同步，從庫(kù)訪問到這部分?jǐn)?shù)據(jù)就存在一致性偏差。
• 當(dāng)兩個(gè)數(shù)據(jù)庫(kù)實(shí)例同時(shí)寫入相同的數(shù)據(jù)時(shí)，則會(huì)發(fā)生數(shù)據(jù)沖突，類似MySQL的雙主架構(gòu)中就缺少這種沖突檢測(cè)機(jī)制。
• 當(dāng)一個(gè)主節(jié)點(diǎn)更新數(shù)據(jù)后，另一個(gè)主節(jié)點(diǎn)可能還沒有同步到最新的數(shù)據(jù)，讀取時(shí)可能會(huì)出現(xiàn)不一致的結(jié)果。

2）性能問題

• 在同步復(fù)制中，主庫(kù)需要等待從庫(kù)的數(shù)據(jù)確認(rèn)寫入后才能成功返回，需要保證強(qiáng)一致性，增加了寫操作的延遲；
• 雙寫情況下需要維護(hù)多個(gè)數(shù)據(jù)庫(kù)實(shí)例的同步狀態(tài)，增加了系統(tǒng)的資源開銷。
• 為解決數(shù)據(jù)不一致問題或者主鍵沖突時(shí)，引入分布式鎖、樂觀鎖和唯一鍵約束等機(jī)制，會(huì)帶來額外的性能開銷

2.3 類RAC集群架構(gòu)

RAC（Real Application Clusters）架構(gòu)允許在多個(gè)物理服務(wù)器節(jié)點(diǎn)上部署相同的數(shù)據(jù)庫(kù)實(shí)例，這些實(shí)例共享相同的數(shù)據(jù)庫(kù)文件和存儲(chǔ)資源，底層使用分布式鎖管理器（DLM）等機(jī)制來控制多個(gè)節(jié)點(diǎn)對(duì)共享資源的并發(fā)訪問，確保數(shù)據(jù)的一致性和完整性，避免數(shù)據(jù)沖突和丟失。與傳統(tǒng)的主備模式不同，RAC是一種并行模式，每個(gè)節(jié)點(diǎn)都可以對(duì)數(shù)據(jù)庫(kù)進(jìn)行讀寫操作，當(dāng)一個(gè)實(shí)例出現(xiàn)問題時(shí)，請(qǐng)求會(huì)自動(dòng)轉(zhuǎn)發(fā)到另外一個(gè)實(shí)例。

圖片

以達(dá)夢(mèng)共享集群架構(gòu)為例，在同一個(gè)站點(diǎn)內(nèi)實(shí)現(xiàn)RAC共享存儲(chǔ)架構(gòu)，實(shí)現(xiàn)存算分離，計(jì)算實(shí)例有多個(gè)可以并發(fā)讀寫，數(shù)據(jù)文件、控制文件在集群系統(tǒng)中只有一份，這些文件保存在共享存儲(chǔ)上。另外在共享存儲(chǔ)上使用DMASM 文件系統(tǒng)管理共享存儲(chǔ)設(shè)備，并通過配置DMASM 鏡像提供多副本技術(shù)。當(dāng)出現(xiàn)磁盤損壞或數(shù)據(jù)丟失時(shí)，系統(tǒng)無需人工干預(yù)即可利用其他鏡像副本繼續(xù)提供數(shù)據(jù)庫(kù)服務(wù)，同時(shí)又可以自動(dòng)或手動(dòng)通過使用其他鏡像副本進(jìn)行數(shù)據(jù)恢復(fù)。

RAC架構(gòu)實(shí)現(xiàn)了同一站點(diǎn)級(jí)別同時(shí)寫操作，那么能否延伸到同城雙中心的RAC部署實(shí)現(xiàn)呢？

圖片

該技術(shù)方案在實(shí)現(xiàn)上尚存在諸多技術(shù)難點(diǎn)：

• 首先存儲(chǔ)層借助存儲(chǔ)虛擬化產(chǎn)品實(shí)現(xiàn)雙數(shù)據(jù)中心組成的存儲(chǔ)集群，依賴雙中心網(wǎng)絡(luò)的二層打通，成本上需要網(wǎng)絡(luò)波分設(shè)備、存儲(chǔ)交換機(jī)等；
• 仲裁的一致性問題，數(shù)據(jù)庫(kù)RAC集群和存儲(chǔ)集群的一致性判斷，數(shù)據(jù)庫(kù)集群依賴集群管理組件來判斷、存儲(chǔ)依賴依賴站點(diǎn)之間網(wǎng)絡(luò)的連通性，如果出現(xiàn)不一致，整個(gè)集群會(huì)crash；
• 鏈路穩(wěn)定狀態(tài)不可控：雙中心鏈路的主干網(wǎng)延遲因素和線路穩(wěn)定性，在讀寫熱點(diǎn)相對(duì)突出的業(yè)務(wù)上會(huì)出現(xiàn)數(shù)據(jù)庫(kù)讀寫性能影響比如IO阻塞，同時(shí)鏈路的不穩(wěn)定會(huì)導(dǎo)致存儲(chǔ)鏈路頻繁切換，甚至?xí)?dǎo)致集群仲裁的頻繁發(fā)生。

從技術(shù)架構(gòu)實(shí)現(xiàn)上來看，基于RAC+共享存儲(chǔ)的數(shù)據(jù)庫(kù)雙活方案，技術(shù)實(shí)現(xiàn)難度很大，業(yè)內(nèi)也少有成功實(shí)施的案例。

2.4 原生分布式數(shù)據(jù)庫(kù)實(shí)現(xiàn)

原生的分布式數(shù)據(jù)庫(kù)具備數(shù)據(jù)自動(dòng)分片的功能，以O(shè)ceanBase數(shù)據(jù)庫(kù)為例，它將大表劃分為多個(gè)較小的分片（Tablet），這些分片自動(dòng)分布到多個(gè)節(jié)點(diǎn)上，每個(gè)節(jié)點(diǎn)處理數(shù)據(jù)的一部分。另外每個(gè)分片有多個(gè)副本，并分布在不同的節(jié)點(diǎn)上，副本之間通過Paxos一致性算法實(shí)現(xiàn)數(shù)據(jù)一致性。當(dāng)生產(chǎn)和同城部署在同一個(gè)數(shù)據(jù)庫(kù)集群中，通過配置分片的策略，在雙中心都會(huì)有主節(jié)點(diǎn)分布，也就是實(shí)現(xiàn)了生產(chǎn)和同城同時(shí)寫的操作。

圖片

基于原生分布式數(shù)據(jù)庫(kù)的實(shí)現(xiàn)生產(chǎn)和同城雙中心雙活架構(gòu)，當(dāng)生產(chǎn)或同城中心故障時(shí)，自動(dòng)將主副本切換到其它節(jié)點(diǎn)，保證了可用性。不過這種架構(gòu)下不可避免的存在跨中心的寫業(yè)務(wù)操作，存在以下問題：

• 當(dāng)跨中心的讀寫業(yè)務(wù)大時(shí)，會(huì)對(duì)跨中心的網(wǎng)絡(luò)帶寬帶來壓力，進(jìn)行會(huì)影響交易性能
• 跨中心網(wǎng)絡(luò)時(shí)延和鏈路抖動(dòng)的影響，影響分布式事務(wù)的性能以及分布式組件之間的鏈路檢測(cè)的穩(wěn)定性和有效性。

2.5 單元化部署架構(gòu)

單元化部署是將應(yīng)用服務(wù)和數(shù)據(jù)按照某種規(guī)則進(jìn)行分片，使得某個(gè)單元提供面向部分?jǐn)?shù)據(jù)分片的完整服務(wù)能力。每個(gè)單元都是一個(gè)獨(dú)立的實(shí)體，包含完整的服務(wù)和數(shù)據(jù)副本，可以獨(dú)立運(yùn)行和擴(kuò)展。單元化可以實(shí)現(xiàn)系統(tǒng)的水平擴(kuò)展，提高系統(tǒng)整體處理能力，提高系統(tǒng)的容錯(cuò)性和可用性。單元化架構(gòu)要求系統(tǒng)具備數(shù)據(jù)分區(qū)能力，數(shù)據(jù)分區(qū)承載了各個(gè)單元的業(yè)務(wù)流量比例，數(shù)據(jù)分區(qū)就是將全局?jǐn)?shù)據(jù)按照某個(gè)維度水平劃分開來，每個(gè)分區(qū)的數(shù)據(jù)互不重疊、每個(gè)節(jié)點(diǎn)有自己的應(yīng)用系統(tǒng)和數(shù)據(jù)庫(kù)。比如業(yè)務(wù)服務(wù)單元包含多個(gè)客戶的業(yè)務(wù)數(shù)據(jù)以及為此類客戶提供服務(wù)支持的應(yīng)用實(shí)例。

圖片

單元化與分布式數(shù)據(jù)庫(kù)能夠有機(jī)結(jié)合，不同的單元存儲(chǔ)在不同的數(shù)據(jù)庫(kù)節(jié)點(diǎn)，每個(gè)數(shù)據(jù)庫(kù)節(jié)點(diǎn)根據(jù)業(yè)務(wù)大小還可以進(jìn)行數(shù)據(jù)分片分為不同的數(shù)據(jù)庫(kù)實(shí)例，單元和單元之間實(shí)現(xiàn)物理上的隔離和數(shù)據(jù)上的邏輯隔離。單元化架構(gòu)在實(shí)現(xiàn)過程中有以下難點(diǎn)：

• 單元化的拆分：設(shè)計(jì)合理的單元拆分方式，比如按照地域、客戶號(hào)進(jìn)行單元?jiǎng)澐?，單元和?shù)據(jù)庫(kù)的分片規(guī)則也需要確認(rèn)；
• 單元擴(kuò)展：隨著業(yè)務(wù)規(guī)模的增長(zhǎng)，需要擴(kuò)展單元，涉及到分布式數(shù)據(jù)庫(kù)的橫向擴(kuò)展；
• 單元化架構(gòu)高可用：?jiǎn)蝹€(gè)單元故障不會(huì)造成全局影響提高系統(tǒng)整體可用性，結(jié)合分布式數(shù)據(jù)庫(kù)的高可用特性，設(shè)置合理的副本數(shù)，保證RPO和RTO的要求，甚至實(shí)現(xiàn)數(shù)據(jù)庫(kù)層站點(diǎn)級(jí)別的雙活架構(gòu)；
• 跨單元數(shù)據(jù)同步匯總：對(duì)于跨單元數(shù)據(jù)的匯總，支持部分批量加工的綜合分析，需要從不同單元進(jìn)行數(shù)據(jù)抽取匯總和加工。

基于單元化的部署架構(gòu)實(shí)現(xiàn)數(shù)據(jù)庫(kù)層的同城雙活，也是業(yè)務(wù)比較普遍的做法，在架構(gòu)實(shí)現(xiàn)上將部分單元的數(shù)據(jù)庫(kù)主節(jié)點(diǎn)部署在同城單元，在網(wǎng)關(guān)層進(jìn)行單元的路由分發(fā)，實(shí)現(xiàn)哪些業(yè)務(wù)訪問生產(chǎn)單元、哪些業(yè)務(wù)訪問同城單元。

2.6 總結(jié)

本文討論了同城雙活的實(shí)現(xiàn)架構(gòu)以及如何實(shí)現(xiàn)數(shù)據(jù)庫(kù)層同城雙活，對(duì)于對(duì)同一份數(shù)據(jù)同時(shí)寫操作在集群的機(jī)制上本身比較復(fù)雜，雖然RAC架構(gòu)能夠?qū)崿F(xiàn)本站點(diǎn)的部署，但是在同城架構(gòu)下RAC集群要依賴底層的數(shù)據(jù)庫(kù)網(wǎng)絡(luò)和存儲(chǔ)網(wǎng)絡(luò)，架構(gòu)中的不穩(wěn)定因素太多，而且RAC集群的性能相比單集群的架構(gòu)反而會(huì)有下降。原生的分布式數(shù)據(jù)庫(kù)架構(gòu)也支持生產(chǎn)同城雙寫，但是存在跨中心的寫操作以及集群間跨站點(diǎn)的網(wǎng)絡(luò)影響，對(duì)業(yè)務(wù)的性能會(huì)有影響。而基于單元化的數(shù)據(jù)庫(kù)雙活方案，結(jié)合應(yīng)用的單元化設(shè)計(jì)，自上而下實(shí)現(xiàn)單元的物理和邏輯上的隔離性，并且生產(chǎn)和同城同時(shí)承載數(shù)據(jù)庫(kù)寫業(yè)務(wù)，在一定程度上實(shí)現(xiàn)數(shù)據(jù)庫(kù)層的雙活部署，也是業(yè)務(wù)在雙活改造過程中推薦的部署方案。

參考資料：

1. https://cloud.tencent.com/developer/article/1645727
2. https://zhuanlan.zhihu.com/p/703395844
3. 基于 Oracle RAC 實(shí)現(xiàn)雙活方案的分析，twt社區(qū)
4. 分布式數(shù)據(jù)庫(kù)單元業(yè)務(wù)應(yīng)用研究報(bào)告，北京金融科技產(chǎn)業(yè)聯(lián)盟