Mycat 的全局序列号

1.全局序列号介绍

在实现分库分表的情况下,数据库自增主键已无法保证自增主键的全局唯一。为此,MyCat 提供了全局sequence,并且提供了包含本地配置和数据库配置等多种实现方式。

2.本地文件方式

原理:此方式 MyCAT 将 sequence 配置到文件中,当使用到 sequence 中的配置后,MyCAT 会更下classpath 中的 sequence_conf.properties 文件中 sequence 当前的值。

配置方式:

在 sequence_conf.properties 文件中做如下配置:

GLOBAL_SEQ.HISIDS=

GLOBAL_SEQ.MINID=1001

GLOBAL_SEQ.MAXID=1000000000

GLOBAL_SEQ.CURID=1000

其中 HISIDS 表示使用过的历史分段(一般无特殊需要可不配置),MINID 表示最小 ID 值,MAXID 表示最大ID 值,CURID 表示当前 ID 值

server.xml 中配置:

<server>

<property name="sequenceHandlerType">0</property>

</server>

注:sequnceHandlerType 需要配置为 0,表示使用本地文件方式。

使用示例:

insert into table1(id,name) values(next value for MYCATSEQ_GLOBAL,‘ test’ );

缺点:当 MyCAT 重新发布后,配置文件中的 sequence 会恢复到初始值

优点:本地加载,读取速度较快

3.数据库方式

原理

在数据库中建立一张表,存放 sequence 名称(name),sequence 当前值(current_value),步长(incrementint 类型每次读取多少个 sequence,假设为 K)等信息;

Sequence 获取步骤:

1).当初次使用该 sequence 时,根据传入的 sequence 名称,从数据库这张表中读取 current_value,和increment 到 MyCat 中,并将数据库中的 current_value 设置为原 current_value 值+increment 值;

MyCat 将读取到 current_value+increment 作为本次要使用的 sequence 值,下次使用时,自动加 1,当使用 increment 次后,执行步骤 1)相同的操作.

MyCat 负责维护这张表,用到哪些 sequence,只需要在这张表中插入一条记录即可。若某次读取的

sequence 没有用完,系统就停掉了,则这次读取的 sequence 剩余值不会再使用

配置方式:

server.xml 配置:

<system>

<property name="sequenceHandlerType">1</property>

</system>

注:sequnceHandlerType 需要配置为 1,表示使用数据库方式生成 sequence.

数据库配置:

1) 创建 MYCAT_SEQUENCE 表

– 创建存放 sequence 的表

DROP TABLE IF EXISTS MYCAT_SEQUENCE;

– name sequence 名称

– current_value 当前 value

– increment 增长步长! 可理解为 mycat 在数据库中一次读取多少个 sequence. 当这些用完后, 下次再从数据库中读取

CREATE TABLE MYCAT_SEQUENCE (name VARCHAR(50) NOT NULL,current_value INT NOT NULL,increment INT NOT NULL DEFAULT 100, PRIMARY KEY(name)) ENGINE=InnoDB;

– 插入一条 sequence

INSERT INTO MYCAT_SEQUENCE(name,current_value,increment) VALUES (‘ GLOBAL’ , 100000,100);

2) 创建相关 function

– 获取当前 sequence 的值 (返回当前值,增量)

DROP FUNCTION IF EXISTS mycat_seq_currval;

DELIMITER

CREATE FUNCTION mycat_seq_currval(seq_name VARCHAR(50)) RETURNS varchar(64) CHARSET utf-8

DETERMINISTIC

BEGIN

DECLARE retval VARCHAR(64);

SET retval=“ -999999999,null” ;

SELECT concat(CAST(current_value AS CHAR),“ ,” ,CAST(increment AS CHAR)) INTO retval FROM MYCAT_SEQUENCE WHERE name = seq_name;

RETURN retval;

END

DELIMITER;

-设置 sequence 值

DROP FUNCTION IF EXISTS mycat_seq_setval;

DELIMITER

CREATE FUNCTION mycat_seq_setval(seq_name VARCHAR(50),value INTEGER) RETURNS varchar(64) CHARSET utf-8

DETERMINISTIC

BEGIN

UPDATE MYCAT_SEQUENCE

SET current_value = value

WHERE name = seq_name;

RETURN mycat_seq_currval(seq_name);

END

DELIMITER;

– 获取下一个 sequence 值

DROP FUNCTION IF EXISTS mycat_seq_nextval;

DELIMITER

CREATE FUNCTION mycat_seq_nextval(seq_name VARCHAR(50)) RETURNS varchar(64) CHARSET utf-8

DETERMINISTIC

BEGIN

UPDATE MYCAT_SEQUENCE

SET current_value = current_value + increment WHERE name = seq_name;

RETURN mycat_seq_currval(seq_name);

END

DELIMITER;

4)sequence_db_conf.properties 相关配置,指定 sequence 相关配置在哪个节点上:

例如:

USER_SEQ=test_dn1

注意:MYCAT_SEQUENCE 表和以上的 3 个 function,需要放在同一个节点上。 function 请直接在具体节点的数据库上执行,如果执行的时候报:

you might want to use the less safe log_bin_trust_function_creators variable

需要对数据库做如下设置:

windows 下 my.ini[mysqld]加上 log_bin_trust_function_creators=1

linux 下/etc/my.cnf 下 my.ini[mysqld]加上 log_bin_trust_function_creators=1

修改完后,即可在 mysql 数据库中执行上面的函数.

使用示例:

insert into table1(id,name) values(next value for MYCATSEQ_GLOBAL,‘ test’ )

4.本地时间戳方式

ID= 64 位二进制 (42(毫秒)+5(机器 ID)+5(业务编码)+12(重复累加)

换算成十进制为 18 位数的 long 类型,每毫秒可以并发 12 位二进制的累加。

使用方式:

a. 配置 server.xml

<property name="sequenceHandlerType">2</property>

b. 在 mycat 下配置:sequence_time_conf.properties

WORKID=0-31 任意整数

DATAACENTERID=0-31 任意整数

多个个 mycat 节点下每个 mycat 配置的 WORKID,DATAACENTERID 不同,组成唯一标识,总共支持32*32=1024 种组合


ID 示例:56763083475511

5.分布式 ZK ID 生成器

配置 server.xml:

<property name="sequnceHandlerType">3</property>

Zk 的连接信息统一在 myid.properties 的 zkURL 属性中配置。

基于 ZK 与本地配置的分布式 ID 生成器(可以通过 ZK 获取集群(机房)唯一 InstanceID,也可以通过配置文件配置 InstanceID)

ID 结构:long 64 位,ID 最大可占 63 位

* |current time millis(微秒时间戳 38 位,可以使用 17 年)|clusterId(机房或者 ZKid,通过配置文件配置 5位)|instanceId(实例 ID,可以通过 ZK 或者配置文件获取,5 位)|threadId(线程 ID,9 位)|increment(自增,6 位)

* 一共 63 位,可以承受单机房单机器单线程 1000*(2^6)=640000 的并发。

* 无悲观锁,无强竞争,吞吐量更高

配置文件:sequence_distributed_conf.properties,只要配置里面:INSTANCEID=ZK 就是从 ZK 上获取InstanceID。

6.Zk 递增方式

配置 server.xml:

<property name="sequnceHandlerType">4</property>

Zk 的连接信息统一在 myid.properties 的 zkURL 属性中配置

4 是 zookeeper 实现递增序列号

* 配置文件:sequence_conf.properties

* 只要配置好 ZK 地址和表名的如下属性

* TABLE.MINID 某线程当前区间内最小值

* TABLE.MAXID 某线程当前区间内最大值

* TABLE.CURID 某线程当前区间内当前值

* 文件配置的 MAXID 以及 MINID 决定每次取得区间,这个对于每个线程或者进程都有效

* 文件中的这三个属性配置只对第一个进程的第一个线程有效,其他线程和进程会动态读取 ZK

7.其他方式

1) 使用 catelet 注解方式

/*!mycat:catlet=demo.catlets.BatchGetSequence */SELECT mycat_get_seq(‘ GLOBAL’ ,100);

注:此方法表示获取 GLOBAL 的 100 个 sequence 值,例如当前 GLOBAL 的最大 sequence 值为 5000,则通过此方式返回的是 5001,同时更新数据库中的 BLOBAL 的最大 sequence 值为 5100.

2) 利用 zookeeper 方式实现....

8.自增长主键

MyCAT 自增长主键和返回生成主键 ID 的实现

说明:

1) mysql 本身对非自增长主键,使用 last_insert_id()是不会返回结果的,只会返回 0;

2) mysql 只会对定义自增长主键,可以用 last_insert_id()返回主键值;

MyCAT 目前提供了自增长主键功能,但是如果对应的 mysql 节点上数据表,没有定义 auto_increment,那么在 MyCAT 层调用 last_insert_id()也是不会返回结果的。

正确配置方式如下:

1) mysql 定义自增主键

CREATE TABLE table1(

‘ id_’ INT(10) UNSIGNED NOT NULL AUTO_INCREMENT,

‘ name_’ INT(10) UNSIGNED NOT NULL,

PRIMARY KEY (‘ id_’ )

) ENGINE=MYISAM AUTO_INCREMENT=6 DEFAULT CHARSET=utf8;

2) mycat 定义主键自增

3)mycat 对应 sequence_db_conf.properties 增加相应设置

TABLE1=dn1

4) 在数据库中 mycat_sequence 表中增加 TABLE1 表的 sequence 记录

测试使用:

127.0.0.1/root:[TESTDB> insert into tt2(name_) values(‘ t1’ );

Query OK, 1 row affected (0.14 sec)

127.0.0.1/root:[TESTDB> select last_insert_id();

+——————+

| LAST_INSERT_ID() |

+——————+

| 100 |

+——————+

1 row in set (0.01 sec)

127.0.0.1/root:[TESTDB> insert into tt2(name_) values(‘ t2’ );

Query OK, 1 row affected (0.00 sec)

127.0.0.1/root:[TESTDB> select last_insert_id();

+——————+

| LAST_INSERT_ID() |

+——————+

| 101 |

+——————+

1 row in set (0.00 sec)

127.0.0.1/root:[TESTDB> insert into tt2(name_) values(‘ t3’ );

Query OK, 1 row affected (0.00 sec)

127.0.0.1/root:[TESTDB> select last_insert_id();

+——————+

| LAST_INSERT_ID() |

+——————+

| 102 |

+——————+

1 row in set (0.00 sec)

Myibatis 中新增记录后获取 last_insert_id 的示例:

本文摘抄于:mycat用户指南

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 159,716评论 4 364
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 67,558评论 1 294
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 109,431评论 0 244
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 44,127评论 0 209
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 52,511评论 3 287
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 40,692评论 1 222
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 31,915评论 2 313
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 30,664评论 0 202
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 34,412评论 1 246
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 30,616评论 2 245
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 32,105评论 1 260
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 28,424评论 2 254
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 33,098评论 3 238
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 26,096评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,869评论 0 197
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 35,748评论 2 276
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 35,641评论 2 271

推荐阅读更多精彩内容