?數(shù)據(jù)，是指任何以電子或者其他方式對信息的記錄，可以是數(shù)字、文字、圖像、聲音等等。可復制可流通且被開發(fā)利用的數(shù)據(jù)，才算是財富，否則可能會成為企業(yè)的負擔。數(shù)據(jù)復制作為數(shù)據(jù)流通、交換、共享、保護、集成、計算分析、管理等領域的關鍵應用，在幫助數(shù)據(jù)實現(xiàn)價值最大化的過程中發(fā)揮著重要貢獻。

本文來自：中國數(shù)據(jù)復制行業(yè)白皮書（2022年）

數(shù)據(jù)復制的過程主要包含了數(shù)據(jù)抓取、數(shù)據(jù)傳輸和數(shù)據(jù)復原三個環(huán)節(jié)。數(shù)據(jù)抓取環(huán)節(jié)主要指對生產(chǎn)端的變化數(shù)據(jù)進行識別和提取，要求識別顆粒度細且對生產(chǎn)系統(tǒng)影響小數(shù)據(jù)傳輸環(huán)節(jié)主要指對數(shù)據(jù)進行分段拆分組合、加密、壓縮等，實現(xiàn)準確、高效、安全地傳輸數(shù)據(jù)；數(shù)據(jù)復原主要指目標端的數(shù)據(jù)接收和數(shù)據(jù)寫入，其核心在于快速寫入的同時，保證數(shù)據(jù)的一致性、可用性。

數(shù)據(jù)復制應遵守三大原則∶一是合規(guī)性，包括數(shù)據(jù)安全、數(shù)據(jù)一致性、數(shù)據(jù)加密傳輸、數(shù)據(jù)分級分類、等保、歸檔管理等；二是時效性，包括數(shù)據(jù)實時或周期性復制、快速恢復、RTO 合規(guī)，滿足可用性、供數(shù)要求等；三是多樣性，包括復制數(shù)據(jù)格式多樣性，以及涵蓋系統(tǒng)層、數(shù)據(jù)庫層、存儲層等多層的數(shù)據(jù)復制，滿足用戶生產(chǎn)環(huán)境多平臺、多功能、個性化的需求。

數(shù)據(jù)復制行業(yè)的主要應用領域包括數(shù)據(jù)合規(guī)性和大數(shù)據(jù)采集應用等，此外系統(tǒng)遷移也較為普遍。數(shù)據(jù)合規(guī)性應用包括容災、備份、治理、歸檔、加密、脫敏、數(shù)據(jù)庫審計、分級分類、等級保護等領域。容災備份也稱為災備，或災難恢復，作為數(shù)據(jù)復制的典型應用場景之一，災備用于保障用戶的數(shù)據(jù)安全和業(yè)務連續(xù)性。衡量災備系統(tǒng)的性能指標是RPO（數(shù)據(jù)恢復點目標）和RTO（恢復時間目標）。根據(jù)RTO和RPO的不同，災備系統(tǒng)可分為定時備份系統(tǒng)和容災系統(tǒng)，而數(shù)據(jù)復制能力在根本上決定了RPO/RTO，也決定了整體災備系統(tǒng)能力。

1、數(shù)據(jù)復制基礎知識

數(shù)據(jù)復制是將一組數(shù)據(jù)從一個數(shù)據(jù)源拷貝到其它一個或多個數(shù)據(jù)源。根據(jù)計算機網(wǎng)絡體系結(jié)構(gòu)（OSI），數(shù)據(jù)源在IT系統(tǒng)中所處的層級不同，數(shù)據(jù)復制主要可分為存儲硬件層數(shù)據(jù)復制、操作系統(tǒng)層數(shù)據(jù)復制和數(shù)據(jù)庫層數(shù)據(jù)復制。

同步復制∶也稱為全同步復制，要求每一個I/O寫入操作在執(zhí)行下一個操作處理之前，在源端和目標端都能完成。特點是數(shù)據(jù)丟失少，會影響生產(chǎn)系統(tǒng)性能，除非目標系統(tǒng)物理上離生產(chǎn)系統(tǒng)比較近。

異步復制∶在處理下一個I/O寫入操作前，不等待數(shù)據(jù)復制到目標系統(tǒng)中。特點是復制的數(shù)據(jù)與源數(shù)據(jù)有時間差，但這種復制對生產(chǎn)系統(tǒng)性能影響較小。

半同步復制∶介于全同步復制與異步復制之間，主庫在執(zhí)行完客戶端提交的事務后不是立刻返回給客戶端，而是等待至少一個從庫接收到并寫到relay log中才返回給客戶端。相對于異步復制，半同步復制提高了數(shù)據(jù)的安全性，同時它也造成了一定程度的延遲，這個延遲最少是一個TCP/IP往返的時間。

序列化傳輸復制∶由于網(wǎng)絡傳輸?shù)臄?shù)據(jù)必須是二進制數(shù)據(jù)，但調(diào)用方請求的出入?yún)?shù)都是對象，對象無法直接在網(wǎng)絡中傳輸，所以需要提前把它轉(zhuǎn)成可傳輸?shù)亩M制，并且轉(zhuǎn)換算法是可逆的，而序列化是將對象的狀態(tài)信息轉(zhuǎn)換為可以存儲或傳輸形式的過程。

上述數(shù)據(jù)復制方式各有優(yōu)缺點，也各有其應用場景，從用戶角度分析，無論采用哪種復制方式，對于數(shù)據(jù)的采集，要求盡量不影響數(shù)據(jù)生產(chǎn)端業(yè)務邏輯，保障業(yè)務運行和數(shù)據(jù)收集互不影響，即做到非入侵的數(shù)據(jù)采集。

2、系列數(shù)據(jù)復制技術

根據(jù)計算機網(wǎng)絡體系結(jié)構(gòu)，數(shù)據(jù)源所處層級可分為存儲硬件層、操作系統(tǒng)層和數(shù)據(jù)庫層。

存儲硬件層的數(shù)據(jù)指存儲設備內(nèi)的所有數(shù)據(jù)，可能對應多個操作系統(tǒng)層的數(shù)據(jù)。操作系統(tǒng)層的數(shù)據(jù)是指由操作系統(tǒng)內(nèi)部的卷層和文件系統(tǒng)進行組織和管理的數(shù)據(jù)，可能存儲在若干存儲設備中。數(shù)據(jù)庫層的數(shù)據(jù)通常是業(yè)務系統(tǒng)及應用程序儲存在數(shù)據(jù)庫中、需要隨時查詢或使用的數(shù)據(jù)。

根據(jù)獲取數(shù)據(jù)的層級不同，數(shù)據(jù)復制軟件也可分為存儲硬件層數(shù)據(jù)復制軟件、操作系統(tǒng)層數(shù)據(jù)復制軟件和數(shù)據(jù)庫層數(shù)據(jù)復制軟件。具體情況如下∶

A.存儲硬件層復制技術?

存儲硬件層復制主要指基于存儲磁盤陣列之間的直接鏡像，是通過存儲系統(tǒng)內(nèi)建的固件或操作系統(tǒng)，利用IP網(wǎng)絡或光纖等傳輸介質(zhì)連結(jié)，將數(shù)據(jù)以同步或異步的方式復制到目標端。

存儲硬件層復制的優(yōu)勢在于復制工作僅在存儲硬件層面進行，與操作系統(tǒng)層無關，因此可以避免服務器的性能開銷過大的問題，適用于關鍵任務和高端交易應用，也是目前最廣泛用于容災場景的數(shù)據(jù)復制技術之一。存儲硬件層復制的劣勢在于主要適用于同品牌且同型號的同構(gòu)存儲系統(tǒng)，并需配備低延遲和大帶寬的物理鏈路，成本較高，給異地復制帶來極大困難。

B.操作系統(tǒng)層復制技術?

在英方實踐中，根據(jù)數(shù)據(jù)捕獲環(huán)節(jié)的不同，操作系統(tǒng)層復制可以分為字節(jié)級復制和塊級復制。

字節(jié)級復制技術是指對生產(chǎn)服務器文件系統(tǒng)的I/O操作信息進行實時捕獲，生成序列化I/O操作日志并發(fā)送至目標服務器，操作日志包括I/O操作發(fā)生的時間、發(fā)起的進程、操作具體針對的文件、文件具體操作的位置以及操作的內(nèi)容。目標服務器收到I/O操作日志后進行數(shù)據(jù)的寫入，完成數(shù)據(jù)復制。該技術具有對計算機資源占用小、復制顆粒度細等優(yōu)勢，能夠?qū)崿F(xiàn)高實時性的數(shù)據(jù)復制，在容災以及持續(xù)數(shù)據(jù)保護領域有較強的優(yōu)勢。

塊級復制技術是指在生產(chǎn)服務器的文件系統(tǒng)之下和磁盤驅(qū)動之上的卷層設置驅(qū)動模塊，實現(xiàn)磁盤數(shù)據(jù)變化的捕捉。通過對生產(chǎn)服務器磁盤空間進行劃分，構(gòu)建磁盤位圖，將發(fā)生數(shù)據(jù)變化的位圖信息發(fā)送至目標服務器并與前次位圖信息進行整合，實現(xiàn)數(shù)據(jù)的復制。和字節(jié)級復制相比，塊級復制顆粒度較粗，單次傳輸數(shù)據(jù)量較大，適用于具有海量文件的文件系統(tǒng)或者非標準化文件系統(tǒng)的場景，在定時備份領域具有較強的優(yōu)勢。

C.數(shù)據(jù)庫層復制技術

數(shù)據(jù)庫層復制通常采用邏輯復制的方式，將源數(shù)據(jù)庫中的重做日志和歸檔日志解析出SQL語句后，發(fā)送至目標數(shù)據(jù)庫，在目標數(shù)據(jù)庫上重做SQL語句實現(xiàn)數(shù)據(jù)復制。

邏輯復制的優(yōu)點在于可以實現(xiàn)不同品牌數(shù)據(jù)庫之間的數(shù)據(jù)復制，且能實現(xiàn)數(shù)據(jù)庫讀寫分離、多活，適用于各種數(shù)據(jù)庫數(shù)據(jù)容災、高可用、讀寫分離等場景。

不管是哪種數(shù)據(jù)復制，都有其優(yōu)缺點，用戶可根據(jù)生產(chǎn)環(huán)境以及項目規(guī)劃，選擇合適的技術產(chǎn)品以達到目的。上述三類層級的復制技術優(yōu)缺點如下∶

3、數(shù)據(jù)復制技術發(fā)展趨勢

數(shù)據(jù)爆發(fā)式的增長，數(shù)據(jù)應用場景的不斷豐富，數(shù)據(jù)交易的可持續(xù)發(fā)展，是推動數(shù)據(jù)復制技術高速發(fā)展的基礎條件。在新基建及新一代信息技術等大環(huán)境下，數(shù)據(jù)復制技術也表現(xiàn)出了三大發(fā)展趨勢。

A.軟硬件解耦的數(shù)據(jù)復制技術?

數(shù)據(jù)復制技術最早是由存儲硬件及數(shù)據(jù)庫廠商開發(fā)，作為其存儲硬件或數(shù)據(jù)庫軟件的輔助工具，通常與存儲硬件或數(shù)據(jù)庫綁定，通常只用于本公司的存儲硬件或數(shù)據(jù)庫之間的數(shù)據(jù)復制。

其優(yōu)點在于對本公司的存儲或數(shù)據(jù)庫產(chǎn)品的兼容良好、穩(wěn)定性高、數(shù)據(jù)復制速度快，但在靈活性和可擴展性上有所欠缺。

隨著信息技術的發(fā)展，各行業(yè)信息系統(tǒng)不斷升級和迭代，存儲及數(shù)據(jù)庫類型多樣化，數(shù)據(jù)量的提升也帶來了分級存儲、分級備份的需求，與硬件或數(shù)據(jù)庫綁定的復制技術功能單一、缺乏靈活性等缺點逐漸顯現(xiàn)。

軟硬件解耦的數(shù)據(jù)復制技術可以實現(xiàn)不同存儲硬件、不同數(shù)據(jù)庫之間的數(shù)據(jù)復制，在信息系統(tǒng)升級、數(shù)據(jù)分級存儲等場景下具有較強的優(yōu)勢，有望成為未來數(shù)據(jù)復制行業(yè)的重要發(fā)展方向。同時，在國內(nèi)信息系統(tǒng)軟硬件安全可信的趨勢下，國產(chǎn)存儲設備和數(shù)據(jù)庫紛紛涌現(xiàn)，軟硬件解耦的數(shù)據(jù)復制技術也將在信息系統(tǒng)國產(chǎn)化進程中發(fā)揮重要作用，加速國產(chǎn)化進程。

B.云端數(shù)據(jù)復制技術?

云計算相較于傳統(tǒng)IT架構(gòu)，具有資源配置效率高、運維難度低、多地多中心布局、業(yè)務冗余能力強等優(yōu)勢。隨著云計算技術和新型基礎設施的逐步成熟，越來越多的企業(yè)開始將業(yè)務系統(tǒng)、數(shù)據(jù)應用等遷移上云。數(shù)據(jù)復制技術也從本地數(shù)據(jù)復制向云端數(shù)據(jù)復制發(fā)展。和本地IT 架構(gòu)不同的是，云計算架構(gòu)將底層硬件設備虛擬化后形成統(tǒng)一的計算資源、存儲資源和網(wǎng)絡資源，企業(yè)在云端的業(yè)務系統(tǒng)均統(tǒng)一部署在數(shù)據(jù)中心的虛擬平臺上，因此云端復制和本地復制相比，傳輸環(huán)境存在較大的差異，云端復制的傳輸具有帶寬窄、傳輸不穩(wěn)定等特點，對復制技術的壓縮能力、斷點續(xù)傳能力提出了更高的要求。

同時，云端復制還需兼顧數(shù)據(jù)隱私及安全問題，特別是在公有云的場景下，云供應商有較大的權(quán)限，可以對數(shù)據(jù)進行管理。因此在云端復制場景下，數(shù)據(jù)的脫敏、加密、備份也是云端復制技術需要考慮的重要問題。例如，不要將數(shù)據(jù)全部存儲于云平臺，考慮將重要數(shù)據(jù)在本地進行備份。

C.大數(shù)據(jù)平臺實時復制技術?

大數(shù)據(jù)平臺是為了滿足大數(shù)據(jù)的存儲、運算、分析、展現(xiàn)的軟件平臺，主要功能包括數(shù)據(jù)接入、數(shù)據(jù)計算和處理、數(shù)據(jù)存儲、查詢檢索、分析和可視化、安全管理、數(shù)據(jù)交換和流通等。

大數(shù)據(jù)平臺擁有特殊的文件系統(tǒng)、數(shù)據(jù)庫及數(shù)據(jù)處理模塊，以適配大數(shù)據(jù)的查詢、存儲和計算。以Hadoop為例，Hadoop平臺采用HDFS分布式文件系統(tǒng)和HBase分布式數(shù)據(jù)庫，通過Hive數(shù)據(jù)倉庫進行數(shù)據(jù)的存儲、查詢和分析，與傳統(tǒng)的數(shù)據(jù)庫結(jié)構(gòu)存在較大的差別，因此傳統(tǒng)的數(shù)據(jù)庫數(shù)據(jù)復制技術無法實現(xiàn)大數(shù)據(jù)平臺間的數(shù)據(jù)實時復制，亦無法實現(xiàn)由傳統(tǒng)數(shù)據(jù)庫向大數(shù)據(jù)平臺的數(shù)據(jù)實時復制。隨著大數(shù)據(jù)技術不斷演進和應用持續(xù)深化，以數(shù)據(jù)為核心的大數(shù)據(jù)產(chǎn)業(yè)生態(tài)正在加速構(gòu)建。

4、異構(gòu)復制技術應用場景

在開源軟件及信息技術路線多樣化發(fā)展潮流下，數(shù)據(jù)復制異構(gòu)場景逐漸增多。?異構(gòu)復制因為技術和產(chǎn)品架構(gòu)的不同，數(shù)據(jù)復制過程中存在數(shù)據(jù)庫、操作系統(tǒng)、桌面用戶數(shù)據(jù)、遷移過程的復雜性、大量非結(jié)構(gòu)化數(shù)據(jù)、遷移過程的安全性等諸多挑戰(zhàn)，涵蓋包括字符集不兼容，中英文轉(zhuǎn)換難、數(shù)據(jù)治理難度高、兼容性差等系列難點。

場景一∶文件異構(gòu)遷移和復制?

文件異構(gòu)的場景下，又細分為“異構(gòu)服務器/操作系統(tǒng)之間、異構(gòu)NAS存儲之間、對象存儲數(shù)據(jù)遷移和復制”三類應用場景。

場景二：數(shù)據(jù)庫異構(gòu)遷移和復制?

異構(gòu)數(shù)據(jù)庫的遷移和復制，其應用場景可細分為“異構(gòu)平臺經(jīng)Kafka或直接復制遷移、異構(gòu)數(shù)據(jù)融合與異構(gòu)數(shù)據(jù)庫遷移”。

場景三∶整機異構(gòu)遷移和復制?

整機遷移即操作系統(tǒng)遷移，該場景整合了字節(jié)級遷移與塊級兩種復制技術，可為用戶提供整機在線熱遷移。

場景四：HDFS異構(gòu)遷移和復制?

HDFS的英文全稱是Hadoop File System，作為大數(shù)據(jù)文件系統(tǒng)的主要應用場景，在容災方面難以做到底層的實時復制和容災。

網(wǎng)上下載鏈接：https://www.info2soft.com/whitepaper