一、背景與挑戰(zhàn)

隨著攜程國(guó)際機(jī)票業(yè)務(wù)的快速發(fā)展與全球化戰(zhàn)略的深入推進(jìn)，需要使用的數(shù)據(jù)種類以及對(duì)應(yīng)的復(fù)雜度也隨之顯著增加。這一增長(zhǎng)趨勢(shì)不僅帶來(lái)了數(shù)據(jù)管理的挑戰(zhàn)，同樣對(duì)數(shù)據(jù)準(zhǔn)確性和實(shí)時(shí)性提出了更高的要求。

接下來(lái)，我們從生產(chǎn)者和消費(fèi)者兩個(gè)角度具體看下有哪些挑戰(zhàn)。

生產(chǎn)者視角下的挑戰(zhàn)：對(duì)于基礎(chǔ)數(shù)據(jù)的生產(chǎn)者，每一種數(shù)據(jù)類型都有其獨(dú)特的業(yè)務(wù)邏輯，涵蓋數(shù)據(jù)的獲取、處理、存儲(chǔ)和匹配等環(huán)節(jié)。數(shù)據(jù)更新周期長(zhǎng)，業(yè)務(wù)復(fù)雜性高，和基礎(chǔ)數(shù)據(jù)相關(guān)的應(yīng)用就達(dá)到了幾十個(gè)，維護(hù)成本不斷攀升。同時(shí)，還存在著數(shù)據(jù)訪問效率低、上云過程復(fù)雜、數(shù)據(jù)回滾困難以及無(wú)法應(yīng)對(duì)大規(guī)模機(jī)器重啟或數(shù)據(jù)刷新等問題。

消費(fèi)者視角下的挑戰(zhàn)：對(duì)于基礎(chǔ)數(shù)據(jù)的消費(fèi)者，每一個(gè)應(yīng)用都或多或少依賴于基礎(chǔ)數(shù)據(jù)。任何一種數(shù)據(jù)的誤差都可能引發(fā)廣泛的線上問題，而且問題的發(fā)現(xiàn)往往滯后，導(dǎo)致生產(chǎn)問題被不斷放大。此外，還存在著業(yè)務(wù)開發(fā)接入復(fù)雜、測(cè)試環(huán)境不穩(wěn)定、服務(wù)啟動(dòng)緩慢、垃圾回收頻繁、上云過程繁瑣以及數(shù)據(jù)不一致等問題。

二、原則與目標(biāo)

面對(duì)上述問題，構(gòu)建一套中臺(tái)化系統(tǒng)是其中一個(gè)解決方案，我們希望實(shí)現(xiàn)數(shù)據(jù)資源的高效整合，消除數(shù)據(jù)孤島，提高數(shù)據(jù)處理效率，確保數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)。在系統(tǒng)設(shè)計(jì)的初期階段，我們首先從數(shù)據(jù)生產(chǎn)者和消費(fèi)者角度出發(fā)確立了一系列核心目標(biāo)：

數(shù)據(jù)生產(chǎn)者角度：

數(shù)據(jù)一致性：確保數(shù)據(jù)在各個(gè)環(huán)節(jié)保持一致性，避免偏差。

數(shù)據(jù)時(shí)效性：保障數(shù)據(jù)的實(shí)時(shí)更新，滿足業(yè)務(wù)對(duì)數(shù)據(jù)的即時(shí)性需求。

系統(tǒng)健壯性：構(gòu)建穩(wěn)定可靠的系統(tǒng)架構(gòu)，以應(yīng)對(duì)各種運(yùn)行環(huán)境和負(fù)載條件。

- 數(shù)據(jù)可追溯性：實(shí)現(xiàn)數(shù)據(jù)的全流程追蹤，便于問題定位和歷史分析。

- 數(shù)據(jù)可回滾性：提供數(shù)據(jù)版本控制，允許在出現(xiàn)問題時(shí)快速回退至穩(wěn)定狀態(tài)。

- 監(jiān)控完善性：建立全面的監(jiān)控體系，實(shí)時(shí)監(jiān)控?cái)?shù)據(jù)流和系統(tǒng)狀態(tài)。

降低成本：通過優(yōu)化資源配置，降低機(jī)器和存儲(chǔ)的成本；簡(jiǎn)化系統(tǒng)維護(hù)流程，減少人力和時(shí)間的投入。

數(shù)據(jù)消費(fèi)者角度：

優(yōu)化消費(fèi)流程：簡(jiǎn)化數(shù)據(jù)消費(fèi)流程，提高數(shù)據(jù)處理的便捷性和效率。

- 接入方式簡(jiǎn)化：提供直觀易用的接入方式，降低數(shù)據(jù)使用的門檻。

- 統(tǒng)一數(shù)據(jù)模型：建立統(tǒng)一的數(shù)據(jù)模型，確保數(shù)據(jù)的一致性和可理解性。

解決環(huán)境問題：解決不同運(yùn)行環(huán)境下的數(shù)據(jù)同步的問題。

- 測(cè)試環(huán)境完善：提供完善的測(cè)試環(huán)境，確保數(shù)據(jù)的準(zhǔn)確性和穩(wěn)定性。

- 云服務(wù)便捷性：優(yōu)化云服務(wù)接入，提高數(shù)據(jù)服務(wù)的靈活性和可擴(kuò)展性。

提升服務(wù)性能：通過技術(shù)優(yōu)化，提升服務(wù)的響應(yīng)速度和處理能力。

- 啟動(dòng)耗時(shí)降低：減少服務(wù)啟動(dòng)時(shí)間，提高系統(tǒng)的快速響應(yīng)能力。

- 減少GC次數(shù)：優(yōu)化內(nèi)存管理，減少因數(shù)據(jù)更新引起的垃圾回收（GC）操作，提升系統(tǒng)性能。

三、關(guān)鍵技術(shù)實(shí)踐

在基礎(chǔ)數(shù)據(jù)中臺(tái)化建設(shè)的實(shí)踐過程中，遇到了一系列的問題，本章節(jié)將介紹一些關(guān)鍵的技術(shù)實(shí)踐。

3.1 數(shù)據(jù)一致性

3.1.1 版本控制

同一集群下不同的機(jī)器在更新緩存時(shí)由于調(diào)度時(shí)間不一致，會(huì)導(dǎo)致不同機(jī)器在同一時(shí)間使用的數(shù)據(jù)不一致，為解決此問題，我們使用數(shù)據(jù)版本控制策略來(lái)解決此問題。每當(dāng)數(shù)據(jù)發(fā)生變更，我們便認(rèn)定一個(gè)新的數(shù)據(jù)版本已經(jīng)誕生。這個(gè)新版本可以是包含了變更和未變更數(shù)據(jù)的完整副本（下文簡(jiǎn)稱為"全量數(shù)據(jù)"），也可以是僅包含變更內(nèi)容的更新（以下簡(jiǎn)稱為"增量數(shù)據(jù)"）。不論是全量數(shù)據(jù)還是增量數(shù)據(jù)，我們都會(huì)將數(shù)據(jù)記錄在BLOB（Binary Large Object）文件中，BLOB文件將作為數(shù)據(jù)傳輸?shù)拿浇椤?/span>

實(shí)施數(shù)據(jù)版本控制后，我們能夠收獲以下收益：

版本追蹤：確保每一次數(shù)據(jù)更新都有跡可循，并且在新版本出現(xiàn)問題時(shí)能夠迅速恢復(fù)到之前的版本。

數(shù)據(jù)一致性：保證所有數(shù)據(jù)消費(fèi)者能訪問到相同版本的數(shù)據(jù)，從而減少因數(shù)據(jù)版本不一致而引發(fā)的問題。

容錯(cuò)與恢復(fù)：能夠快速識(shí)別出問題數(shù)據(jù)，并利用多種通知機(jī)制，促使產(chǎn)品或開發(fā)團(tuán)隊(duì)及時(shí)介入，解決問題。

性能監(jiān)控：基于數(shù)據(jù)版本，構(gòu)建性能監(jiān)控體系，以評(píng)估數(shù)據(jù)傳輸和處理的效率。

數(shù)據(jù)安全：在數(shù)據(jù)傳輸和存儲(chǔ)過程中，通過加密和訪問控制機(jī)制，確保數(shù)據(jù)安全，防止未授權(quán)訪問。

3.1.2 去中心化

在業(yè)界，如果某個(gè)服務(wù)想要消費(fèi)基礎(chǔ)數(shù)據(jù)時(shí)，主流解決方案是采用直連數(shù)據(jù)庫(kù)或調(diào)用應(yīng)用程序接口的方式，如下圖1和圖2，這兩者均屬于C/S架構(gòu)。C/S架構(gòu)雖被廣泛采用，卻面臨著如數(shù)據(jù)庫(kù)承載壓力大、數(shù)據(jù)一致性難以保障、系統(tǒng)擴(kuò)展性不足、開發(fā)與集成過程復(fù)雜、硬件成本高昂、緩存穿透、中心服務(wù)的讀壓力，以及難以應(yīng)對(duì)流量高峰等問題。

圖1

圖2

為了克服以上問題，我們引入了P2P架構(gòu)（Peer-to-Peer Architecture）。與C/S架構(gòu)相比，P2P架構(gòu)實(shí)現(xiàn)了去中心化。在P2P網(wǎng)絡(luò)中，每個(gè)節(jié)點(diǎn)都具備客戶端和服務(wù)器的雙重身份，能夠直接與其他節(jié)點(diǎn)進(jìn)行通信和數(shù)據(jù)交換，無(wú)需依賴中央服務(wù)器。同時(shí)，P2P架構(gòu)下的數(shù)據(jù)查詢耗時(shí)并不會(huì)因?yàn)榭蛻舳藬?shù)量的增加而線性增長(zhǎng)。圖3直觀地展示了C/S架構(gòu)與P2P架構(gòu)的本質(zhì)區(qū)別。

圖3

基于前文提到的BLOB文件版本控制機(jī)制，我們選擇了BitTorrent協(xié)議作為P2P網(wǎng)絡(luò)中的文件共享與分發(fā)標(biāo)準(zhǔn)。BitTorrent以其高效的數(shù)據(jù)傳輸能力，特別適用于大規(guī)模數(shù)據(jù)的快速分發(fā)，具體架構(gòu)如圖4，客戶端可以根據(jù)實(shí)際需求控制是否要加入Peer網(wǎng)絡(luò)，如圖4中的紅色機(jī)器就僅僅下載數(shù)據(jù)，并不分享給其他peer。

圖4

3.1.3 數(shù)據(jù)組合策略優(yōu)化

在業(yè)務(wù)實(shí)踐中，我們有時(shí)候會(huì)需要處理多種基礎(chǔ)數(shù)據(jù)的組合場(chǎng)景，比如想要在消費(fèi)國(guó)家數(shù)據(jù)時(shí)一同消費(fèi)國(guó)家所在大洲數(shù)據(jù)，當(dāng)組合中的數(shù)據(jù)版本出現(xiàn)不一致時(shí)，會(huì)導(dǎo)致數(shù)據(jù)不準(zhǔn)確。

為應(yīng)對(duì)這一挑戰(zhàn)，我們采取的方法是通過業(yè)務(wù)規(guī)則，將所有相關(guān)聯(lián)的組合數(shù)據(jù)整合到單一的torrent文件中，消費(fèi)方可以一次性下載到所有關(guān)聯(lián)數(shù)據(jù)。這種整合方式的優(yōu)勢(shì)在于，它允許消費(fèi)方一次性獲取整個(gè)數(shù)據(jù)集合，而不需要分別從不同來(lái)源或版本中收集和協(xié)調(diào)數(shù)據(jù)。通過這種方式，我們不僅簡(jiǎn)化了數(shù)據(jù)獲取過程，而且更重要的是確保了數(shù)據(jù)的一致性和準(zhǔn)確性。

3.1.4 單點(diǎn)數(shù)據(jù)生成策略

集群內(nèi)不同的機(jī)器間隔幾秒鐘查詢同一數(shù)據(jù)庫(kù)，查詢結(jié)果便可能會(huì)有所不同，為保證消費(fèi)方數(shù)據(jù)一致性，我們?cè)谏扇亢驮隽繑?shù)據(jù)時(shí)采取了單點(diǎn)數(shù)據(jù)加載模式，如圖5。僅有單一的機(jī)器負(fù)責(zé)從數(shù)據(jù)庫(kù)中查詢數(shù)據(jù)，這種設(shè)計(jì)一方面顯著降低了數(shù)據(jù)庫(kù)的讀取壓力，其效果相當(dāng)于將壓力分散至消費(fèi)方機(jī)器數(shù)量的1/n（n代表消費(fèi)方機(jī)器的總數(shù)），另一方面結(jié)合版本控制策略，在同一時(shí)間內(nèi)中臺(tái)系統(tǒng)中僅僅有一個(gè)有效的版本數(shù)據(jù)可以被使用。

圖5

此外，不同種類的數(shù)據(jù)更新頻率各異，這通常由具體的業(yè)務(wù)需求所決定。因此，中臺(tái)系統(tǒng)提供了自定義數(shù)據(jù)生成配置的功能，這種靈活性的好處在于：

減少不必要的數(shù)據(jù)加載：通過精確控制數(shù)據(jù)生成的頻率和時(shí)機(jī)，避免了資源的浪費(fèi)。

降低客戶端緩存刷新壓力：減少了因頻繁數(shù)據(jù)更新導(dǎo)致的客戶端垃圾回收（GC）操作，從而提高了客戶端的性能。

緩解網(wǎng)絡(luò)帶寬壓力：通過優(yōu)化數(shù)據(jù)生成和傳輸策略，減輕了整個(gè)網(wǎng)絡(luò)的帶寬負(fù)擔(dān)，確保了數(shù)據(jù)傳輸?shù)母咝浴?/span>

3.2 數(shù)據(jù)時(shí)效性

3.2.1 推拉機(jī)制

為確保數(shù)據(jù)生產(chǎn)至消費(fèi)的全流程時(shí)效性，防止數(shù)據(jù)更新滯后對(duì)業(yè)務(wù)造成損失，我們?cè)诩軜?gòu)設(shè)計(jì)中引入了推拉接合模式。前序系統(tǒng)完成數(shù)據(jù)處理后，即通過消息中間件向后續(xù)系統(tǒng)發(fā)出通知，這一連貫流程在各子系統(tǒng)中依次觸發(fā)，直至數(shù)據(jù)被消費(fèi)。

為提高流程可靠性，我們引入了可配置的基于定時(shí)任務(wù)中間件的拉狀態(tài)邏輯，確保了任何環(huán)節(jié)的延遲或異常都能被及時(shí)補(bǔ)償。

圖6

3.2.2 數(shù)據(jù)云端遷移

隨著攜程國(guó)際業(yè)務(wù)的不斷拓展，我們的系統(tǒng)架構(gòu)正逐步向混合云模式轉(zhuǎn)型。傳統(tǒng)的基礎(chǔ)數(shù)據(jù)上云是復(fù)制數(shù)據(jù)庫(kù)到云端，雖然可行，但往往會(huì)帶來(lái)成本上升和數(shù)據(jù)復(fù)制延遲等問題。為應(yīng)對(duì)這些挑戰(zhàn)，我們將Blob文件分發(fā)到不同的Region，避免了對(duì)昂貴數(shù)據(jù)庫(kù)實(shí)例的依賴，在保證數(shù)據(jù)時(shí)效性的前提下成本降低98%以上，榆次同時(shí)使用此架構(gòu)消費(fèi)方在上云過程中可以做到無(wú)縫遷移。具體架構(gòu)如圖7。

圖7

3.3 系統(tǒng)健壯性

3.3.1 數(shù)據(jù)校驗(yàn)和攔截

在數(shù)據(jù)的生命周期中，無(wú)論是業(yè)務(wù)維護(hù)的數(shù)據(jù)，還是由外部數(shù)據(jù)提供商提供的數(shù)據(jù)，數(shù)據(jù)錯(cuò)誤總是一個(gè)不可忽視的問題。這些錯(cuò)誤表現(xiàn)為非法字符、數(shù)據(jù)缺失、數(shù)據(jù)重復(fù)等。為有效解決此問題，我們開發(fā)了一套數(shù)據(jù)校驗(yàn)機(jī)制，針對(duì)數(shù)據(jù)的每個(gè)字段執(zhí)行嚴(yán)格的合規(guī)性檢查。系統(tǒng)一旦監(jiān)測(cè)到異常數(shù)據(jù)，將立即通過TripPal（攜程自研的IM系統(tǒng)）、電子郵件、短信等多種通信渠道，向數(shù)據(jù)負(fù)責(zé)人發(fā)出警報(bào)，這樣可以迅速響應(yīng)并處理問題。

在問題未解決前，系統(tǒng)會(huì)自動(dòng)暫停出問題數(shù)據(jù)的更新，防止錯(cuò)誤數(shù)據(jù)的擴(kuò)散。此外，為了進(jìn)一步提升數(shù)據(jù)校驗(yàn)的準(zhǔn)確性，我們結(jié)合了統(tǒng)計(jì)學(xué)算法和人工智能（AI）預(yù)測(cè)模型，對(duì)數(shù)據(jù)變化進(jìn)行分析和智能判斷。具體的架構(gòu)如圖8。

圖8

3.3.2 數(shù)據(jù)回滾

在生產(chǎn)環(huán)境中，面對(duì)突發(fā)的系統(tǒng)故障，實(shí)施回滾操作是最迅速且有效的應(yīng)對(duì)策略。中臺(tái)系統(tǒng)為此提供了一套數(shù)據(jù)回滾功能，將回滾版本的數(shù)據(jù)視為一個(gè)完全正常的版本，通過中臺(tái)的Portal界面，用戶可以依據(jù)時(shí)間戳追溯并查詢到所需的歷史數(shù)據(jù)版本。其中，整個(gè)回滾過程無(wú)需對(duì)數(shù)據(jù)庫(kù)進(jìn)行任何數(shù)據(jù)層面的修改，這一點(diǎn)與依賴于二進(jìn)制日志（binlog）的回滾方法相比，提高了效率和安全性。如圖9。

圖9

3.4 消費(fèi)流程優(yōu)化

3.4 1 統(tǒng)一數(shù)據(jù)模型

數(shù)據(jù)模型會(huì)出現(xiàn)新增、修改和刪除字段的場(chǎng)景，通常我們會(huì)通過編碼的方式實(shí)現(xiàn)，不僅過程繁瑣，而且隨著時(shí)間推移，會(huì)顯著增加系統(tǒng)的維護(hù)成本。為了降低消費(fèi)方消費(fèi)數(shù)據(jù)的復(fù)雜度，需要支持任意數(shù)據(jù)模型的自動(dòng)化生產(chǎn)和消費(fèi)。我們通過腳本化手段實(shí)現(xiàn)自動(dòng)化構(gòu)建（build）和部署（deploy）jar包，從而簡(jiǎn)化流程。具體的流程如圖10。

圖10

3.4.2 簡(jiǎn)化接入方式

當(dāng)需要消費(fèi)某個(gè)數(shù)據(jù)時(shí)，引入通過圖10流程生成的獨(dú)立model包，通過以下代碼即可獲取全量數(shù)據(jù)集或者按條件查詢的數(shù)據(jù)集。

// 引入客戶端
@DataResource
private CityClient cityClient;
// 全量查詢
List<City> list = cityClient.queryList();
// 條件查詢
List<City> list = cityClient.queryList(cityCode);

3.5 統(tǒng)一數(shù)據(jù)治理

在實(shí)際的工作中，開發(fā)團(tuán)隊(duì)和產(chǎn)品團(tuán)隊(duì)常常面臨一個(gè)共同的挑戰(zhàn)：如何在種類繁多的基礎(chǔ)數(shù)據(jù)中找到目前生產(chǎn)上實(shí)際使用的基礎(chǔ)數(shù)據(jù)？一般會(huì)通過口口相傳或維護(hù)共享文檔的方式來(lái)解決，但是這種方法不僅效率低，而且容易因人為失誤或信息更新不及時(shí)導(dǎo)致生產(chǎn)問題，為此，數(shù)據(jù)中臺(tái)實(shí)現(xiàn)了一個(gè)統(tǒng)一的模型入口，簡(jiǎn)化了數(shù)據(jù)和模型的搜索和引用過程。用戶可以在Portal中按照數(shù)據(jù)庫(kù)名、數(shù)據(jù)表名、接口名等檢索條件輕松搜索所需的數(shù)據(jù)類型，如果存在，可以直接引用；如果不存在，可以根據(jù)具體的業(yè)務(wù)需求新增。

對(duì)于新的業(yè)務(wù)接入中臺(tái)，我們也進(jìn)行了流程的優(yōu)化。優(yōu)化后，接入中臺(tái)只需調(diào)整數(shù)據(jù)源，無(wú)需進(jìn)行額外的開發(fā)工作。這一改進(jìn)顯著減少了業(yè)務(wù)接入的復(fù)雜性和工作量，最小化了接入流程。與直接連接數(shù)據(jù)庫(kù)或調(diào)用應(yīng)用程序接口的方式相比，中臺(tái)系統(tǒng)在數(shù)據(jù)接入效率上實(shí)現(xiàn)了90%以上的提升。

四、技術(shù)架構(gòu)概覽

在前文所述的基礎(chǔ)上，本節(jié)從宏觀的系統(tǒng)架構(gòu)視角，闡述攜程國(guó)際機(jī)票基礎(chǔ)數(shù)據(jù)中臺(tái)化建設(shè)的關(guān)鍵技術(shù)實(shí)現(xiàn)。我們的系統(tǒng)精心設(shè)計(jì)為若干個(gè)互相協(xié)作的核心模塊，每個(gè)模塊承擔(dān)著特定的職責(zé)，共同構(gòu)成了數(shù)據(jù)處理和分發(fā)的中臺(tái)化平臺(tái)。

1）DataSource 模塊：作為數(shù)據(jù)流的起點(diǎn)，此模塊負(fù)責(zé)數(shù)據(jù)的初始寫入和確保數(shù)據(jù)一致性。它通過定時(shí)任務(wù)或消息通知機(jī)制觸發(fā)數(shù)據(jù)操作流程。

2）BlobGenerator 模塊：專注于數(shù)據(jù)的生產(chǎn)過程，提供全面的服務(wù)，包括數(shù)據(jù)校驗(yàn)、BLOB文件生成、版本控制以及回滾操作的攔截。

3）BlobService 模塊：作為數(shù)據(jù)分發(fā)的核心，處理來(lái)自DataClient的數(shù)據(jù)請(qǐng)求，充當(dāng)BlobGenerator與DataClient之間的橋梁，確保數(shù)據(jù)流暢、高效地傳遞。

4）DataClient 模塊：負(fù)責(zé)數(shù)據(jù)的消費(fèi)端，提供包括BitTorrent下載、緩存管理、以及支持精確查詢等多種功能，滿足不同場(chǎng)景下的數(shù)據(jù)使用需求。

5）DataQuery 模塊：為那些無(wú)法通過BitTorrent下載方式獲取數(shù)據(jù)的消費(fèi)者提供了API查詢接口，支持全量數(shù)據(jù)輸出、條件篩選輸出以及邏輯計(jì)算等高級(jí)功能。

6）Dispatcher 模塊：作為系統(tǒng)的調(diào)度協(xié)調(diào)中心，確保DataSource、BlobGenerator、BlobService等模塊的任務(wù)有序執(zhí)行，保障整個(gè)數(shù)據(jù)處理流程的順暢和同步。

通過這些模塊的緊密協(xié)作，我們的技術(shù)架構(gòu)不僅提升了數(shù)據(jù)處理的效率和準(zhǔn)確性，還增強(qiáng)了系統(tǒng)的可擴(kuò)展性和可維護(hù)性。

圖11

五、成效

數(shù)據(jù)中臺(tái)實(shí)現(xiàn)了從數(shù)據(jù)生成到消費(fèi)的全生命周期覆蓋。系統(tǒng)化的數(shù)據(jù)治理舉措提升了數(shù)據(jù)系統(tǒng)在治理、成本控制、安全性和運(yùn)營(yíng)效率方面的性能。

數(shù)據(jù)生產(chǎn)者角度：我們對(duì)分散的業(yè)務(wù)流程進(jìn)行了梳理和優(yōu)化，根據(jù)優(yōu)先級(jí)分批整合至中臺(tái)。在這一過程中，我們不僅重構(gòu)了業(yè)務(wù)流程，還通過重寫和優(yōu)化，挖掘并解決了多個(gè)之前未被發(fā)現(xiàn)的問題。數(shù)據(jù)分發(fā)的效率實(shí)現(xiàn)了質(zhì)的飛躍，平均分發(fā)時(shí)間降至23秒，對(duì)于小規(guī)模數(shù)據(jù)，我們更是實(shí)現(xiàn)了5秒內(nèi)的端到端快速傳輸，極大提升了數(shù)據(jù)的實(shí)時(shí)性和新鮮度；整體服務(wù)器成本降低了95%以上；系統(tǒng)的維護(hù)成本降低66%。

數(shù)據(jù)消費(fèi)者角度：新數(shù)據(jù)源的接入效率提升了90%，上云過程無(wú)需進(jìn)行特殊改造，加快了研發(fā)進(jìn)度，提高了開發(fā)效率。解決不同運(yùn)行環(huán)境下的數(shù)據(jù)同步的問題，減少了對(duì)生產(chǎn)環(huán)境的依賴。優(yōu)化了調(diào)度策略，減少了98%以上的無(wú)效調(diào)度任務(wù)，降低了GC的頻率。

六、未來(lái)計(jì)劃

國(guó)際機(jī)票數(shù)據(jù)中臺(tái)在上線體現(xiàn)了一些在研發(fā)效能、數(shù)據(jù)治理、性能優(yōu)化、業(yè)務(wù)提升、降低成本等方面優(yōu)勢(shì)，未來(lái)我們計(jì)劃從以下幾個(gè)關(guān)鍵方面對(duì)數(shù)據(jù)中臺(tái)進(jìn)行深入迭代和優(yōu)化：

1）自動(dòng)化：進(jìn)一步提升數(shù)據(jù)處理流程的自動(dòng)化程度，減少人工干預(yù)，提高整體效率，特別會(huì)利用大語(yǔ)言模型等技術(shù)進(jìn)行數(shù)據(jù)校驗(yàn)以及，增強(qiáng)數(shù)據(jù)準(zhǔn)確性。

2）穩(wěn)定性：加強(qiáng)系統(tǒng)的穩(wěn)定性，確保數(shù)據(jù)中臺(tái)在高并發(fā)和大數(shù)據(jù)量處理場(chǎng)景下的可靠性。

3）健壯性：構(gòu)建更加健壯的系統(tǒng)架構(gòu)，提高系統(tǒng)對(duì)異常情況的容錯(cuò)能力和自我恢復(fù)能力。

4）時(shí)效性：優(yōu)化數(shù)據(jù)更新和分發(fā)機(jī)制，確保數(shù)據(jù)的實(shí)時(shí)性和時(shí)效性。

5）可視化：通過可視化技術(shù)，直觀展示數(shù)據(jù)流動(dòng)和處理過程，提高數(shù)據(jù)可讀性和易用性。

- 更友好的Portal界面：設(shè)計(jì)和實(shí)現(xiàn)更加人性化的Portal界面，提升用戶體驗(yàn)，簡(jiǎn)化用戶操作。

- 處理流程可視化：實(shí)現(xiàn)數(shù)據(jù)處理流程的可視化展示，使用戶能夠清晰地追蹤數(shù)據(jù)處理的每個(gè)環(huán)節(jié)。