最近對整體的DTS(數(shù)據(jù)傳輸系統(tǒng))做了整體的開發(fā)設(shè)計，目前在做的是從數(shù)據(jù)庫到大數(shù)據(jù)庫側(cè)的數(shù)據(jù)傳輸對接，先放出來一部分拋磚引玉。

[[337628]]

數(shù)據(jù)傳輸服務(wù)(DTS)支持關(guān)系型數(shù)據(jù)庫、NoSQL、大數(shù)據(jù)等數(shù)據(jù)源間的數(shù)據(jù)傳輸。它是一種集數(shù)據(jù)遷移、數(shù)據(jù)同步及數(shù)據(jù)訂閱于一體的數(shù)據(jù)傳輸服務(wù)。

本次主要圍繞MySQL到Kudu的數(shù)據(jù)同步進行建設(shè)，采用基于 MySQL Binlog進行數(shù)據(jù)同步的解決方案，覆蓋全量、增量、全量+增量三種同步模型，支持?jǐn)?shù)據(jù)同步的秒級延遲，任務(wù)異常的斷點續(xù)傳，以及數(shù)據(jù)的不丟、不亂、不重;

1.系統(tǒng)整體設(shè)計

系統(tǒng)的整體設(shè)計圖如下：

其中DTS為平臺前端，可以采用專業(yè)前端團隊支持。

數(shù)據(jù)傳輸系統(tǒng)DTS為獨立的業(yè)務(wù)系統(tǒng)，目前為重新構(gòu)建，為實現(xiàn)初步初版，基線版本為數(shù)據(jù)庫運維系統(tǒng)的當(dāng)前版本，后續(xù)只維護DTS側(cè)相關(guān)邏輯。

其中DTS為了考慮后續(xù)的擴展性和可維護性，會基于reader,write,service三個大體的模塊來構(gòu)建，reader,writer可以根據(jù)具體的技術(shù)方向進行細分。

關(guān)聯(lián)系統(tǒng)為數(shù)據(jù)庫運維系統(tǒng)，任務(wù)系統(tǒng)，大數(shù)據(jù)管理系統(tǒng)，對于這些關(guān)聯(lián)系統(tǒng)的元數(shù)據(jù)和部分邏輯功能會有相關(guān)調(diào)用。

整個數(shù)據(jù)傳輸服務(wù)流程中，一個基礎(chǔ)的屬性是task_code,這是在DTS任務(wù)新建，中端數(shù)據(jù)傳輸，后端服務(wù)集成中的共同屬性，task_code的含義即為client_id,格式為：dts_[idc]_[maxwell_ip]_[maxwell_code]，后端服務(wù)的topic會基于client_id附加數(shù)據(jù)庫和表信息組合而成。

當(dāng)在DTS前端頁面中輸入了基礎(chǔ)信息(如數(shù)據(jù)庫IP,端口等)后，會調(diào)用中端的服務(wù)接口生成相應(yīng)的client_id，后端服務(wù)會根據(jù)DTS任務(wù)列表中的task_code為基準(zhǔn)進行任務(wù)管理，而中端服務(wù)會根據(jù)client_id進行相應(yīng)的同步對象配置管理/服務(wù)啟停等操作。

相關(guān)的數(shù)據(jù)傳輸流如下：

2.中端管理設(shè)計

中端管理主要是基于Maxwell的部署管理，配置管理，同步對象列表變更，服務(wù)管理(啟動，停止)，服務(wù)自管理和監(jiān)控報警，目前的實現(xiàn)主要基于API，初步實現(xiàn)本地前端。

2.1. 部署管理

部署管理主要是對Maxwell服務(wù)部署實現(xiàn)平臺化管理，目前Maxwell應(yīng)用服務(wù)器有2臺，分別是130.200和130.201，檔案數(shù)據(jù)庫為Maxwell服務(wù)基礎(chǔ)配置數(shù)據(jù)和Maxwell啟動初始化的數(shù)據(jù)庫基礎(chǔ)元數(shù)據(jù)。

通過平臺化部署能夠?qū)崿F(xiàn)如下的幾個功能：

1)能夠?qū)崿F(xiàn)自動尋址，為Maxwell新增同步任務(wù)匹配相應(yīng)的應(yīng)用服務(wù)器，在后續(xù)新增應(yīng)用服務(wù)器的情況下能夠快速調(diào)整和適配

2)如果已在服務(wù)器A上部署了實例B的maxwell服務(wù)，則新增數(shù)據(jù)同步任務(wù)時，需要復(fù)用已有的maxwell服務(wù)配置，不需要在新的服務(wù)器中重新配置。

3)服務(wù)配置的基礎(chǔ)準(zhǔn)備工作，如Maxwell相關(guān)的賬號和防火墻開通等工作，需要通過腳本化管理方式支持，以API形式提供接入，目前統(tǒng)一的maxwell接入賬戶為：dba_maxwell_repl

①　數(shù)據(jù)庫主庫Master端開通防火墻權(quán)限，創(chuàng)建相應(yīng)的數(shù)據(jù)庫賬戶

②　數(shù)據(jù)庫從庫Slave端開通防火墻權(quán)限

4)MySQL服務(wù)的拓撲管理基于數(shù)據(jù)庫運維管理系統(tǒng)，需要封裝相應(yīng)的API得到Slave信息，同時需要在Maxwell配置列表中維護管理。

補充：

前置任務(wù)：

在130.201服務(wù)器上面部署Maxwell修正版服務(wù)

基于測試環(huán)境完成Maxwell的接入測試，producer為stdout

后續(xù)的開發(fā)可以參考如下的實現(xiàn)點：

①　完成Maxwell模板化配置

②　可以配置模板生成定制化配置，封裝統(tǒng)一的啟停腳本

③　Maxwell自動尋址邏輯，同一個實例只能復(fù)用一個Maxwell進程服務(wù)

④　Client_id生成邏輯

⑤　Maxwell code生成邏輯

⑥　基于運維系統(tǒng)封裝DTS側(cè)的接口，實現(xiàn)防火墻開通管理和新建復(fù)制用戶功能，新建用戶在Master,權(quán)限開通在Master和Slave端

⑦　對于stdout和Kafka配置，實現(xiàn)互斥邏輯

2.2. 配置管理

配置管理包含maxwell基礎(chǔ)的配置文件，如config配置，日志配置和監(jiān)控配置。目錄規(guī)劃設(shè)計如下：

可以在這個基礎(chǔ)上進行服務(wù)的相應(yīng)擴展。

Maxwell的基礎(chǔ)配置依賴于client_id

ü client_id元數(shù)據(jù)命名

dts_[idc]_[maxwell_ip]_[maxwell_code]

如Maxwell部署在服務(wù)器 121.240，

Maxwell001為業(yè)務(wù)編碼，可以映射到相應(yīng)的數(shù)據(jù)庫服務(wù)(如Slave)，為了方便標(biāo)識和 解析，不允許包含特殊符號，如下劃線等

命名示例則為：dts_xxxx_121_240_maxwell001

對于實現(xiàn)細節(jié)可以整理為如下的部分：

1)支持根據(jù)模板配置化生成相應(yīng)的maxwell配置文件，配置文件命名以client_id元數(shù)據(jù)命名，格式為：dts_[idc]_[maxwell_ip]_[maxwell_code].properties,配置文件部署在app_config目錄下。

如Maxwell部署在服務(wù)器 130.200，

Maxwell001為業(yè)務(wù)編碼，可以映射到相應(yīng)的數(shù)據(jù)庫服務(wù)(如Slave)，為了方便標(biāo)識和 解析，不允許包含特殊符號，如下劃線等

命名示例則為：dts_xxxx_130_200_maxwell001.properties

2)對于Maxwell基礎(chǔ)信息的配置，因為基于client_id，不便于顯示源端的關(guān)聯(lián)關(guān)系，該配置信息的管理需要統(tǒng)一在maxwell檔案庫中維護。

3)基礎(chǔ)配置信息包括源端服務(wù)信息，源服務(wù)端口，復(fù)制賬戶信息，client_id，歸屬maxwell應(yīng)用服務(wù)器，監(jiān)控端口，過濾列表，bootstrap_type(sync,async), kafka配置信息等

4)基礎(chǔ)配置管理需要實現(xiàn)本地前端

補充：

完成Maxwell服務(wù)列表和服務(wù)配置的平臺化管理，后端均為API實現(xiàn)

如果任務(wù)配置發(fā)生變更時，服務(wù)列表和詳情列表為一對多的關(guān)系，即需要保留已有的配置文件記錄，然后將原記錄狀態(tài)置為失效，使得在出現(xiàn)異常回退的時候，該任務(wù)依然可以保證服務(wù)可用。

2.3. 同步對象列表變更

同步對象列表為數(shù)據(jù)傳輸中的重點管理對象，需要實現(xiàn)如下的功能：

1)對已有的maxwell服務(wù)新增表時，需要在已有的maxwell服務(wù)下進行擴展，修改同步對象列表，列表的修改模式為追加，暫不支持修改，刪除等其他模式。

2)修改同步列表后，需要對maxwell服務(wù)進行重新啟動，需要保證啟動過程相對是平滑可控。

3)如同步列表刷新失敗，需要能夠快速回退，快速恢復(fù)數(shù)據(jù)傳輸服務(wù)。

4)配置文件版本管理和歸檔，對象變更前，需要對配置文件先做備份，并規(guī)范備份文件命名。

補充：

主要實現(xiàn)同步對象的修改和管理，添加相應(yīng)的正則配置，調(diào)用明細管理的方法/接口

2.4. 服務(wù)管理

能夠?qū)崿F(xiàn)maxwell的啟停管理功能，包含三個子選項;start，stop，restart

通過API模式進行服務(wù)狀態(tài)檢查，目前可以復(fù)用已有的開放接口

2.5. 服務(wù)自啟動

在傳輸鏈路中，如果因為源端服務(wù)異常，maxwell側(cè)異常或者后端傳輸服務(wù)異常，會導(dǎo)致Maxwell服務(wù)異常終止，需要通過探測的模式進行檢查復(fù)核，確認(rèn)后重新拉起服務(wù)，保證maxwell服務(wù)的持續(xù)性。

補充:

開發(fā)相應(yīng)的腳本，能夠進行服務(wù)狀態(tài)檢測，并復(fù)用已有監(jiān)控的API進行數(shù)據(jù)傳輸狀態(tài)的檢測。

3.6. 監(jiān)控報警

監(jiān)控報警為maxwell基礎(chǔ)保障功能，需要完成對Maxwell服務(wù)的數(shù)據(jù)傳輸監(jiān)控，解析binlog的吞吐量，下推Kafka的吞吐量等，并對數(shù)據(jù)傳輸異常，服務(wù)異常等異常場景進行報警提示。

補充：

配置相應(yīng)的報警明細項目，設(shè)定閾值，進行報警配置

本文轉(zhuǎn)載自微信公眾號「楊建榮的學(xué)習(xí)筆記」，可以通過以下二維碼關(guān)注。轉(zhuǎn)載本文請聯(lián)系楊建榮的學(xué)習(xí)筆記公眾號。