開(kāi)源一個(gè)教學(xué)型分庫(kù)分表示例項(xiàng)目
在筆者心中，消息隊(duì)列，緩存，分庫(kù)分表是高并發(fā)解決方案三劍客。
分庫(kù)分表之所以被廣泛使用，因?yàn)楣こ滔鄬?duì)簡(jiǎn)單，但分庫(kù)分表并不僅僅是分片，還是需要考慮如何擴(kuò)縮容（全量同步、增量同步、數(shù)據(jù)校驗(yàn)等）。
圖片
因此，筆者做了一個(gè)教學(xué)型分庫(kù)分表示例項(xiàng)目 ，計(jì)劃將分庫(kù)分表的技術(shù)體系都實(shí)際演示一遍。
圖片
https://github.com/makemyownlife/shardingsphere-jdbc-demo
當(dāng)前項(xiàng)目包含三個(gè)模塊 :
- shardingjdbc4-spring：使用 shardingsphere-JDBC 4.X 實(shí)現(xiàn)分庫(kù)分表功能
- shardingjdbc5-spring：使用 shardingsphere-JDBC 5.X 實(shí)現(xiàn)分庫(kù)分表功能
- idgenerator: 基于 grpc 實(shí)現(xiàn)一個(gè)簡(jiǎn)單的服務(wù)端 ID 生成器
下面我們展示如何運(yùn)行 shardingjdbc4-spring 模塊，shardingsphere JDBC 4.x 如何整合 spring 實(shí)現(xiàn)分庫(kù)分表功能。
1 業(yè)務(wù)分析
筆者曾經(jīng)為武漢一家 O2O 公司訂單服務(wù)做過(guò)分庫(kù)分表架構(gòu)設(shè)計(jì) ，當(dāng)企業(yè)用戶創(chuàng)建一條采購(gòu)訂單 ， 會(huì)生成如下記錄：
- 訂單基礎(chǔ)表 t_ent_order ：?jiǎn)螚l記錄
- 訂單詳情表 t_ent_order_detail ：?jiǎn)螚l記錄
- 訂單明細(xì)表 t_ent_order_item：N 條記錄
訂單每年預(yù)估生成記錄 1 億條，數(shù)據(jù)量不大也不小，筆者參考原來(lái)神州專車的分庫(kù)分表方式，制定了如下的分庫(kù)分表策略：
- 訂單基礎(chǔ)表按照 ent_id (企業(yè)用戶編號(hào)) 分庫(kù)（四個(gè)分庫(kù)），訂單詳情表保持一致。
- 訂單明細(xì)表按照 ent_id (企業(yè)用戶編號(hào)) 分庫(kù) (四個(gè)分庫(kù))，同時(shí)也要按照 ent_id (企業(yè)編號(hào)) 分表(八個(gè)分表)。
2 環(huán)境準(zhǔn)備
創(chuàng)建 4 個(gè)庫(kù)，分別是：ds_0、ds_1、ds_2、ds_3 。
然后這四個(gè)分庫(kù)分別執(zhí)行 doc 目錄下的 shardingjdbc-spring.sql 文件。
圖片
執(zhí)行結(jié)果如下圖所示，每個(gè)分庫(kù)都包含訂單基礎(chǔ)表 ， 訂單詳情表 ，訂單明細(xì)表 。但是因?yàn)槊骷?xì)表需要分表，所以包含多張表。
圖片
3 項(xiàng)目結(jié)構(gòu)
打開(kāi)項(xiàng)目，如下圖所示：
圖片
這是一個(gè)典型的 springboot 項(xiàng)目，包含控制器層、實(shí)體層、服務(wù)層 。
1、pom 文件配置依賴
<dependency>
<groupId>org.apache.shardingsphere</groupId>
<artifactId>sharding-jdbc-spring-boot-starter</artifactId>
<version>4.1.1</version>
</dependency>2、分片配置 application-test.yml
圖片
- 配置數(shù)據(jù)源，上面配置數(shù)據(jù)源是：ds0、ds1、ds2、ds3 ；
- 配置打印日志，也就是：sql.show ，在測(cè)試環(huán)境建議打開(kāi) ，便于調(diào)試；
- 配置哪些表需要分庫(kù)分表 ，在 shardingsphere.datasource.sharding.tables 節(jié)點(diǎn)下面配置：
圖片
上圖中我們看到配置分片規(guī)則包含如下兩點(diǎn)：
1.真實(shí)節(jié)點(diǎn)
對(duì)于我們的應(yīng)用來(lái)講，我們查詢的邏輯表是：t_ent_order_item 。
它們?cè)跀?shù)據(jù)庫(kù)中的真實(shí)形態(tài)是：t_ent_order_item_0 到 t_ent_order_item_7。
真實(shí)數(shù)據(jù)節(jié)點(diǎn)是指數(shù)據(jù)分片的最小單元，由數(shù)據(jù)源名稱和數(shù)據(jù)表組成。
訂單明細(xì)表的真實(shí)節(jié)點(diǎn)是：ds$->{0..3}.t_ent_order_item_$->{0..7} 。
2.分庫(kù)分表算法
分別配置分庫(kù)策略和分表策略 , 每種策略都需要配置分片字段（ sharding-columns ）和分片算法。
4 測(cè)試接口
修改配置文件 application-test.yml ，配置好 MySQL 數(shù)據(jù)庫(kù) 和 Redis 服務(wù) 。
啟動(dòng) Main 函數(shù)：
圖片
啟動(dòng)過(guò)程中，會(huì)打印 shardingsphere jdbc 日志 。
圖片
啟動(dòng)成功之后，訪問(wèn) swagger ui 地址：
http://localhost:9793/shardingsphere-jdbc-server/doc.html#/home
接下來(lái)，我們進(jìn)行兩個(gè)測(cè)試：新增訂單和按照訂單 ID 查詢
1、測(cè)試存儲(chǔ)訂單
圖片
點(diǎn)擊發(fā)送按鈕，接口響應(yīng)成功。
圖片
我們插入1 條訂單記錄、1 條訂單詳情表進(jìn)入 ds3 分片，并且 2 條訂單條目表進(jìn)入 ds3 分片的 t_ent_order_item_7 表。
2、測(cè)試存儲(chǔ)訂單
圖片
參數(shù)名稱是 orderId , 參數(shù)值：609335823493160961 ，點(diǎn)擊發(fā)送按鈕，接口響應(yīng)成功 , 返回訂單信息。
圖片
