詳解MyCat 全局序列號實現(xiàn)方式，值得收藏
在實現(xiàn)分庫分表的情況下，數(shù)據(jù)庫自增主鍵已無法保證自增主鍵的全局唯一。為此，MyCat 提供了全局sequence，并且提供了包含本地配置和數(shù)據(jù)庫配置等多種實現(xiàn)方式。下面對這幾種實現(xiàn)方式做一下介紹。
1. 本地文件方式
原理：
此方式 MyCAT 將 sequence 配置到文件中，當使用到 sequence 中的配置后，MyCAT 會更下classpath 中的 sequence_conf.properties 文件中 sequence 當前的值。
配置方式：
在 sequence_conf.properties 文件中做如下配置：
- GLOBAL_SEQGLOBAL_SEQ.HISIDS=
- GLOBAL_SEQ.MINID=1001
- GLOBAL_SEQ.MAXID=1000000000
- GLOBAL_SEQ.CURID=1000
其中 HISIDS 表示使用過的歷史分段(一般無特殊需要可不配置)，MINID 表示最小 ID 值，MAXID 表示最大ID 值，CURID 表示當前 ID 值。
server.xml 中配置：
- <system><property name="sequnceHandlerType">0</property></system>
注：sequnceHandlerType 需要配置為 0，表示使用本地文件方式。
使用示例：
- insert into table1(id,name) values(next value for MYCATSEQ_GLOBAL,‘test’);
缺點：當 MyCAT 重新發(fā)布后，配置文件中的 sequence 會恢復到初始值。
優(yōu)點：本地加載，讀取速度較快。
2. 數(shù)據(jù)庫方式
原理：
在數(shù)據(jù)庫中建立一張表，存放 sequence 名稱(name)，sequence 當前值(current_value)，步長(incrementint 類型每次讀取多少個 sequence，假設為 K)等信息;
Sequence 獲取步驟：
當初次使用該 sequence 時，根據(jù)傳入的 sequence 名稱，從數(shù)據(jù)庫這張表中讀取 current_value，和increment 到 MyCat 中，并將數(shù)據(jù)庫中的 current_value 設置為原 current_value 值+increment 值。
MyCat 將讀取到 current_value+increment 作為本次要使用的 sequence 值，下次使用時，自動加 1，當使用 increment 次后，執(zhí)行步驟 1)相同的操作。
MyCat 負責維護這張表，用到哪些 sequence，只需要在這張表中插入一條記錄即可。若某次讀取的sequence 沒有用完，系統(tǒng)就停掉了，則這次讀取的 sequence 剩余值不會再使用。
配置方式(server.xml 配置):
- <system><property name="sequnceHandlerType">1</property></system>
注：sequnceHandlerType 需要配置為 1，表示使用數(shù)據(jù)庫方式生成 sequence。
配置方式(數(shù)據(jù)庫 配置)：
1) 創(chuàng) 建 MYCAT_SEQUENCE 表
- – 創(chuàng)建存放 sequence 的表
- DROP TABLE IF EXISTS MYCAT_SEQUENCE;
- – name sequence 名 稱
- – current_value 當 前 value
- – increment 增長步長! 可理解為 mycat 在數(shù)據(jù)庫中一次讀取多少個 sequence. 當這些用完后, 下次再從數(shù)據(jù)庫中讀取。
- CREATE TABLE MYCAT_SEQUENCE (
- name VARCHAR(50) NOT NULL,current_value INT NOT NULL,
- increment INT NOT NULL DEFAULT 100, PRIMARY KEY(name))
- ENGINE=InnoDB;
- – 插入一條 sequence
- INSERT INTO MYCAT_SEQUENCE(name,current_value,increment) VALUES (‘GLOBAL’, 100000,100);
2) 創(chuàng)建相關(guān) function
- – 獲取當前 sequence 的值 (返回當前值,增量)
- DROP FUNCTION IF EXISTS mycat_seq_currval;
- DELIMITER
- CREATE FUNCTION mycat_seq_currval(seq_name VARCHAR(50)) RETURNS varchar(64) CHARSET utf-8
- DETERMINISTIC
- BEGIN
- DECLARE retval VARCHAR(64);
- SET retval=“-999999999,null”;
- SELECT concat(CAST(current_value AS CHAR),“,”,CAST(increment AS CHAR)) INTO retval FROM MYCAT_SEQUENCE WHERE name = seq_name;
- RETURN retval;
- END
- DELIMITER;
- – 設 置 sequence 值
- DROP FUNCTION IF EXISTS mycat_seq_setval;
- DELIMITER
- CREATE FUNCTION mycat_seq_setval(seq_name VARCHAR(50),value INTEGER) RETURNS varchar(64) CHARSET utf-8
- DETERMINISTIC
- BEGIN
- UPDATE MYCAT_SEQUENCE
- SET current_value = value
- WHERE name = seq_name;
- RETURN mycat_seq_currval(seq_name);
- END
- DELIMITER;
-
- – 獲取下一個 sequence 值
- DROP FUNCTION IF EXISTS mycat_seq_nextval;
- DELIMITER
- CREATE FUNCTION mycat_seq_nextval(seq_name VARCHAR(50)) RETURNS varchar(64) CHARSET utf-8
- DETERMINISTIC
- BEGIN
- UPDATE MYCAT_SEQUENCE
- SET current_valuecurrent_value = current_value + increment WHERE name = seq_name;
- RETURN mycat_seq_currval(seq_name);
- END
- DELIMITER;
3)sequence_db_conf.properties 相關(guān)配置,指定 sequence 相關(guān)配置在哪個節(jié)點上：
例如：
- USER_SEQ=test_dn1
注意：MYCAT_SEQUENCE 表和以上的 3 個 function，需要放在同一個節(jié)點上。function 請直接在具體節(jié)點的數(shù)據(jù)庫上執(zhí)行，如果執(zhí)行的時候報：
- you might want to use the less safe log_bin_trust_function_creators variable
需要對數(shù)據(jù)庫做如下設置：
- windows 下 my.ini[mysqld]加上 log_bin_trust_function_creators=1
- linux 下/etc/my.cnf 下 my.ini[mysqld]加上 log_bin_trust_function_creators=1
修改完后，即可在 mysql 數(shù)據(jù)庫中執(zhí)行上面的函數(shù)。
使用示例：
- insert into table1(id,name) values(next value for MYCATSEQ_GLOBAL,'test');
3. 本地時間戳方式
ID= 64 位二進制 (42(毫秒)+5(機器 ID)+5(業(yè)務編碼)+12(重復累加)
換算成十進制為 18 位數(shù)的 long 類型，每毫秒可以并發(fā) 12 位二進制的累加。
使用方式：
a. 配置 server.xml
- <property name="sequnceHandlerType">2</property>
b. 在 mycat 下配置：sequence_time_conf.properties
- WORKID=0-31 任意整數(shù)
- DATAACENTERID=0-31 任意整數(shù)
多個個 mycat 節(jié)點下每個 mycat 配置的 WORKID，DATAACENTERID 不同，組成唯一標識，總共支持32*32=1024 種組合。
4. 分布式 ZK ID 生成器
- <property name="sequnceHandlerType">3</property>
Zk 的連接信息統(tǒng)一在 myid.properties 的 zkURL 屬性中配置。
基于 ZK 與本地配置的分布式 ID 生成器(可以通過 ZK 獲取集群(機房)唯一 InstanceID，也可以通過配置文件配置 InstanceID)
- ID 結(jié)構(gòu)：long 64 位，ID 最大可占 63 位
- * |current time millis(微秒時間戳 38 位,可以使用 17 年)|clusterId（機房或者 ZKid，通過配置文件配置 5位）|instanceId（實例 ID，可以通過 ZK 或者配置文件獲取，5 位）|threadId（線程 ID，9 位）|increment(自增,6 位)
- * 一共 63 位，可以承受單機房單機器單線程 1000*(2^6)=640000 的并發(fā)。
- * 無悲觀鎖，無強競爭，吞吐量更高
配置文件：sequence_distributed_conf.properties，只要配置里面：INSTANCEID=ZK 就是從 ZK 上獲取InstanceID。
5. Zk 遞增方式
- <property name="sequnceHandlerType">4</property>
Zk 的連接信息統(tǒng)一在 myid.properties 的 zkURL 屬性中配置,4 是 zookeeper 實現(xiàn)遞增序列號
1) 配置文件：sequence_conf.properties, 只要配置好 ZK 地址和表名的如下屬性
- TABLE.MINID 某線程當前區(qū)間內(nèi)最小值
- TABLE.MAXID 某線程當前區(qū)間內(nèi)最大值
- TABLE.CURID 某線程當前區(qū)間內(nèi)當前值
2) 文件配置的 MAXID 以及 MINID 決定每次取得區(qū)間，這個對于每個線程或者進程都有效
3)文件中的這三個屬性配置只對第一個進程的第一個線程有效，其他線程和進程會動態(tài)讀取 ZK
6. 自增長主鍵
(1) MyCAT 自增長主鍵和返回生成主鍵 ID 的實現(xiàn)
說明：
- mysql 本身對非自增長主鍵，使用 last_insert_id()是不會返回結(jié)果的，只會返回 0;
- mysql只 會對定義自增長主鍵，可以用last_insert_id() 返 回 主 鍵 值 ;
MyCAT目前提供了自增長主鍵功能，但是如果對應的 mysql 節(jié)點上數(shù)據(jù)表，沒有定義 auto_increment，那么在 MyCAT 層調(diào)用 last_insert_id()也是不會返回結(jié)果的。
正確配置方式如下：
- mysql 定義自增主鍵
- CREATE TABLE table1(
- 'id_' INT(10) UNSIGNED NOT NULL AUTO_INCREMENT,
- 'name_' INT(10) UNSIGNED NOT NULL,
- PRIMARY KEY ('id_')
- ) ENGINE=MYISAM AUTO_INCREMENT=6 DEFAULT CHARSET=utf8;
- TABLE1=dn1
測試使用：
- 127.0.0.1/root:[TESTDB> insert into tt2(name_) values(‘t1’);
- Query OK, 1 row affected (0.14 sec)
- 127.0.0.1/root:[TESTDB> select last_insert_id();
- +——————+
- | LAST_INSERT_ID() |
- +——————+
- | 100 |
- +——————+
-
- 1 row in set (0.01 sec)
- 127.0.0.1/root:[TESTDB> insert into tt2(name_) values(‘t2’);
- Query OK, 1 row affected (0.00 sec)
- 127.0.0.1/root:[TESTDB> select last_insert_id();
- +——————+
- | LAST_INSERT_ID() |
- +——————+
- | 101 |
- +——————+
- 1 row in set (0.00 sec)
- 127.0.0.1/root:[TESTDB> insert into tt2(name_) values(‘t3’);
- Query OK, 1 row affected (0.00 sec)
- 127.0.0.1/root:[TESTDB> select last_insert_id();
- +——————+
- | LAST_INSERT_ID() |
- +——————+
- | 102 |
- +——————+
- 1 row in set (0.00 sec)
Myibatis 中新增記錄后獲取 last_insert_id 的示例：
