【51CTO.com原創(chuàng)稿件】NDC全稱Netease data canal，即網(wǎng)易數(shù)據(jù)運河，是一個平臺化的結(jié)構(gòu)化數(shù)據(jù)傳輸系統(tǒng)，目的是解決結(jié)構(gòu)化數(shù)據(jù)的實時遷移、同步、訂閱、OLTP到OLAP的實時數(shù)據(jù)整合等問題。我們希望能夠借此將數(shù)據(jù)庫中的數(shù)據(jù)與其他系統(tǒng)打通，從而構(gòu)建一個能夠整合所有數(shù)據(jù)庫的“數(shù)據(jù)運河”，任何系統(tǒng)都能夠從“運河”中獲取數(shù)據(jù)。

此次由51CTO主辦的2017WOTA全球架構(gòu)與運維技術(shù)峰會上，網(wǎng)易資深工程師馬進老師分享了主題為《網(wǎng)易數(shù)據(jù)傳輸服務(wù)NDC高可用實踐》的演講。

應(yīng)用場景

從應(yīng)用方視角看來，可以將NDC的應(yīng)用場景分為三類：第一類是數(shù)據(jù)遷移，像DDB到Oracle這樣的異構(gòu)數(shù)字遷移，同時可以解決DDB內(nèi)部在線擴容問題和遷移問題。第二類數(shù)據(jù)同步，場景較為復(fù)雜一些，如跨域甚至跨國的數(shù)據(jù)實時同步，一般不強調(diào)異構(gòu)，需要解決的是高延遲，復(fù)雜拓撲管理的問題。第三類數(shù)據(jù)訂閱，通過數(shù)據(jù)來驅(qū)動業(yè)務(wù)，實現(xiàn)業(yè)務(wù)間異步解耦。

最后，通過這些應(yīng)用場景可以總結(jié)出NDC的兩個核心需求：第一，獲取數(shù)據(jù)庫實時變更的能力。第二，數(shù)據(jù)快速發(fā)布的能力。如MySQL到Oralce的數(shù)據(jù)遷移，需要增量遷移的速度要比MySQL線上增量更新快，否則相遷移或者同步永遠無法完成，這就考驗NDC數(shù)據(jù)發(fā)布的速度。另外一點，是需要NDC提供完善的高可用方案，允許數(shù)據(jù)重復(fù)，但是不能丟，還要提供一個不停服務(wù)的能力。