基于Doris構建億級數據實時數據分析系統
背景
隨著公司業務快速發展，對業務數據進行增長分析的需求越來越迫切，與此同時我們的業務數據量也在快速激增、每天的數據新增量大概在30w 左右，一年就會產生1 個億的數據，顯然基于傳統MySQL數據庫已經無法支撐
基于上述需求和痛點，決定提供一個靈活的多維實時查詢和分析平臺，幫助業務線做精細化運營。
業務分析
現有業務數據有以下特點，查詢多、更新少，基本不會更新1 個月以前的數據，但是查詢范圍較大，有時需要查詢幾年前的數據，而且數據會以年、月等不同維度統計
因此以上場景使用 OLTP 引擎不是特別適合，OLAP則更為適合
這里可能有些人員不懂什么是 OLAP，下面是一個OLAP與OLTP對比圖
圖片
技術選型
實時數倉
以上場景確定后，我們就開始了框架選型，最終確定了 Doris，理由如下
- 性能滿足要求
- 兼容MySQL 協議
- 運維成本較低
- 架構足夠簡單
- 社區活躍，支持力度高
下面是一個選型對比，沒有好壞，只是Doris適合我們
圖片
實時數據捕獲
實時數據，采用Fink CDC進行捕獲，Fink CDC Connectors 是Apache Flink的一組源連接器，使用變更數據捕獲 (CDC) 從不同數據庫中獲取變更，而獲取變更是通過Debezium監聽Binlog 日志，獲取到更新數據以后，可以對數據進行轉換，然后在根據doris 提供的Flink 插件Doris flink connecto導入到 Doris 里面
圖片
具體示例，可以參考：https://mp.weixin.qq.com/s/ssXocqCyoSVuRFBi2hzCKQ
為什么需要實時數據捕獲？
Doris 只是一個數據倉庫，他提供的功能是實時數據統計、查詢和存儲，他不支持主動實時抓取數據，需要借助第三方工具來進行實現，比如我們在 MySQL修改了一條數據，怎么讓 Doris 進行更新？目前想到的答案是主動發送更新數據至Kafka，然后Doris訂閱 KafKa 的 Topic 然后進行實時同步，雖然以上能實現我們想要的功能，但是有點復雜，業務每次操作都要發送 Kafka，同時要想對數據進行加工，工作量相對較大，正因為有以上問題，所以我們采用Flink CDC
數據調度平臺
數據調度平臺，采用海豚調度器（DolphinScheduler），它也是國人開源的一款分布式可擴展的大數據調度平臺，使用Java 語言開發，目前已經成為Apache 項目，它提供了強大的DAG可視化界面，所有流程定義都是可視化，通過拖拽任務完成定制DAG，同時支持 30+類型的任務，比如執行 SQL、shell 、DataX 等類型，官網地址：https://dolphinscheduler.apache.org
圖片
為什么需要數據調度平臺？
數據轉換：通過Flink 抽取的數據，如果還想對這些數據進行加工處理，比如實時同步的業務數據，需要再次轉換為分鐘級、小時級、天、月等維度的報表
非實時數據同步：通過調度DataX，以分鐘、小時、天為單位進行源數據同步
定時歸檔：比如每晚同步業務數據庫一個月前數據，同步完成之后，在執行刪除任務，刪除業務庫一個月前的數據
數倉數據分層
數據倉庫的分層是一種常見的設計模式，它將數據倉庫劃分為不同的層級，每個層級有不同的功能和用途。
圖片
ODS層
Operation Data Store 數據準備區，也稱為貼源層。數據倉庫源頭系統的數據表通常會原封不動的存儲一份，這稱為ODS層，是后續數據倉庫加工數據的來源。
DWD層
data warehouse details 細節數據層，是業務層與數據倉庫的隔離層。主要對ODS數據層做一些數據清洗和規范化的操作，數據清洗：去除空值、臟數據、超過極限范圍的
DWS層
data warehouse service 數據服務層，基于DWD上的基礎數據，整合匯總成分析某一個主題域的服務數據層，一般是寬表。用于提供后續的業務查詢，OLAP分析，數據分發等。
- 用戶行為，輕度聚合
- 主要對ODS/DWD層數據做一些輕度的匯總。
注意：數倉層內部的劃分不是為了分層而分層，它是數據倉庫經過了建模和 ETL 之后真正開始對外提供服務的地方，因此數倉層內的劃分更應該符合使用者的思維習慣。DW 內的分層沒有最正確的，只有最適合你的。
命名規范
圖片
系統架構
經過前面的技術選型，以及分層定義，我們最終架構如下
圖片
數據查詢
假設語句已經同步到doris，那么怎么進行展現，這里有很多種方式，比如通過BI工具，例如：power bi、dataEase、Davinci等，同時Doris 支持mysql 協議，我們為了讓之前的業務改動，對后端接口實現進行了替換，通過 mybatis 動態解析 sql，并調用 doris進行查詢，架構如下
圖片
示例介紹
Flink實時同步
具體查看鋒哥的文章，https://mp.weixin.qq.com/s/ssXocqCyoSVuRFBi2hzCKQ
DolphinScheduler準實時同步
同步業務數據庫mysql中register表至doris的ods_test_mysql_register_s表中，并對業務數據進行刪除
1. 創建datax文件
在資源中心創建各個團隊文件夾，并在文件夾中創建對應datax文件
圖片
2. 創建任務
進入項目管理/工作流定義目錄，點擊創建工作流
圖片
選擇shell任務,worker分區選擇datax，
datax組為自行創建，實際配置時，以本地執行環境為準
圖片
選擇資源，并編寫datax啟動命令
圖片
如果遷移完，需要進行原數據刪除，則新建sql任務，編寫sql語句，進行清理
圖片
3. 依賴關系創建
第一步進行datax數據同步第二步進行原數據清理，如下圖連線就是依賴關系
圖片
4. 全局參數設置
參數可以設置為動態參數，這里為了測試方便為固定值
例如：$[yyyy-MM-dd 00:00:00-15] 表示前15天，具體參考dolphinscheduler內置參數說明
圖片
5. 啟動任務
首選點擊對應任務進行上線，在配置定時任務，如果測試連通性，則點擊啟動按鈕可以立即測試
圖片
