Docker学习笔记——MGR

MGR,是MySQL Group Replication的缩写。
这个搭建的过程非常坎坷,爬了许多坑,浪费了一周的时间,从上周五直到今天,也就是2019年11月30日周六晚上11点30才正式搞定,按捺不住怅然若失的感觉,内心一片崩溃和后悔,赶紧来记录一下。

1、环境

2台物理机,都安装了docker,版本不限

IP 简称 系统
192.168.1.81 81 centos7.5
192.168.1.91 91 centos7.5

docker的mysql image版本为8.0.18。版本不是很重要,网络上有人说5.7的版本和8.0的版本有很大差别,笔者在搭建时未明显感觉出差异。

2、搭建

2.1修改物理机hosts文件

这里有个非常大的坑,一定要注意修改完之后,重启生效,否则MEMBER_STATE一直会是RECOVERING,多么痛的领悟,非常的细小和简单的一个错误,直接浪费快1周时间!

hosts是一定要修改的,除非你是公网固定IP,并且主机名不同,在同一个局域网内是一定要修改的,即使后面你的my.cnf配置文件用的IP配置也一定要修改,非常痛的领悟!

vim /etc/hosts
添加以下内容,根据自己局域网IP修改

192.168.1.81 mgr81
192.168.1.91 mgr91

2.2准备mysql配置文件my.cnf

这里也有一个深坑,用docker的image创建时,千万不要参考mysql官网的例子,因为官网会把本该是loose-group_replication_start_on_boot=off的配置写成group_replication_start_on_boot=off,从而导致container一直重启,非常坑爹。

2.2.1、91物理机的my.cnf

不可重复的参数是
server-id=2
loose-group_replication_local_address = 'mgr91:33066'
33066端口是随便指定的端口,不是数据库连接的端口。

[mysqld]
port=33061

#禁止创建这些引擎,因为MGR只支持InnoDB 
disabled_storage_engines="MyISAM,BLACKHOLE,FEDERATED,ARCHIVE,MEMORY"

plugin_load_add='group_replication.so'

server-id=2
gtid_mode=ON
enforce-gtid-consistency=ON
binlog_checksum=NONE

loose-group_replication_group_name="10e10d4d-4e9d-4a60-b17f-e1c1ada58378"
loose-group_replication_start_on_boot=off
loose-group_replication_local_address = 'mgr91:33066'
loose-group_replication_group_seeds = 'mgr81:33066,mgr91:33066'
loose-group_replication_bootstrap_group=off

# 8.0.2以下添加
transaction_write_set_extraction = XXHASH64
# MGR使用乐观锁,官网建议隔离级别是RC,减少锁粒度
transaction_isolation=READ-COMMITTED

#8.0.3以下添加
log_bin=binlog
log_slave_updates=ON
binlog_format=ROW
master_info_repository=TABLE
relay_log_info_repository=TABLE
enforce_gtid_consistency = 1
binlog_gtid_simple_recovery = 1

# off多主模式,on单主模式
loose-group_replication_single_primary_mode = off
# 多主模式下,强制检查每一个实例是否允许该操作,如果不是多主,可以关闭
loose-group_replication_enforce_update_everywhere_checks = on


pid-file=/var/run/mysqld/mysqld.pid
socket=/var/run/mysqld/mysqld.sock
datadir=/var/lib/mysql
secure-file-priv= NULL

relay-log = relay91
relay-log-index = relay91

default_authentication_plugin=mysql_native_password
# Disabling symbolic-links is recommended to prevent assorted security risks
symbolic-links=0

# Custom config should go here
!includedir /etc/mysql/conf.d/

2.2.2、81物理机的my.cnf

把不可重复的地方修改一下即可,与91的配置相同。

[mysqld]
port=33061

#禁止创建这些引擎,因为MGR只支持InnoDB 
disabled_storage_engines="MyISAM,BLACKHOLE,FEDERATED,ARCHIVE,MEMORY"

plugin_load_add='group_replication.so'

server-id=1
gtid_mode=ON
enforce-gtid-consistency=ON
binlog_checksum=NONE

loose-group_replication_group_name="10e10d4d-4e9d-4a60-b17f-e1c1ada58378"
loose-group_replication_start_on_boot=off
loose-group_replication_local_address = 'mgr81:33066'
loose-group_replication_group_seeds = 'mgr81:33066,mgr91:33066'
loose-group_replication_bootstrap_group=off

# 8.0.2以下添加
transaction_write_set_extraction = XXHASH64
# MGR使用乐观锁,官网建议隔离级别是RC,减少锁粒度
transaction_isolation=READ-COMMITTED

#8.0.3以下添加
log_bin=binlog
log_slave_updates=ON
binlog_format=ROW
master_info_repository=TABLE
relay_log_info_repository=TABLE
enforce_gtid_consistency = 1
binlog_gtid_simple_recovery = 1

# off多主模式,on单主模式
loose-group_replication_single_primary_mode = off
# 多主模式下,强制检查每一个实例是否允许该操作,如果不是多主,可以关闭
loose-group_replication_enforce_update_everywhere_checks = on


pid-file=/var/run/mysqld/mysqld.pid
socket=/var/run/mysqld/mysqld.sock
datadir=/var/lib/mysql
secure-file-priv= NULL

relay-log = relay81
relay-log-index = relay81

default_authentication_plugin=mysql_native_password
# Disabling symbolic-links is recommended to prevent assorted security risks
symbolic-links=0

# Custom config should go here
!includedir /etc/mysql/conf.d/

2.3、创建container

2.3.1、前言和一些解释

2.3.1.1、为什么网络模式用host?

docker的网络模式有bridge、host、none、container几种,如果用的swarm集群,还有overlay,但这里不适合用overlay端口会冲突。

一开始想用bridge模式的,但是担心group seeds的IP这里填写会有问题,还有如果用host模式网络性能可能提升一点。所以直接用host模式先快速搞出来。个人猜测,用bridge模式的话,要开33061数据库端口(自定义)、33060Replication插件端口(非自定义)、33066集群端口(自定义),还要向container写入hosts,未实际成功操作,仅供参考。

2.3.1.2、防火墙要允许那些端口?

本例子中2台物理机均须打开,33061、33060、33066三个端口。

2.3.2、脚本

挂载2个文件目录、数据库密码、添加2个host,结合实际自行修改即可。在81和91两台物理机分别执行1次。

docker run --name mgr --restart always --net="host" \
           -e MYSQL_ROOT_PASSWORD=password -e MYSQL_ROOT_HOST="%" -e TZ=Asia/Shanghai \
           -v /home/lucien/mysqlmgr/volumes/mysql-8.0.18/data:/var/lib/mysql  \
           -v /home/lucien/mysqlmgr/my.cnf:/etc/mysql/my.cnf  \
           --add-host mgr81:192.168.1.81 --add-host mgr91:192.168.1.91  \
           -d mysql:8.0.18 \
           --character-set-server=utf8mb4

2.3.3、执行SQL

在2个container上都要执行。

SET SQL_LOG_BIN=0;
CREATE USER rpl_user@'%' IDENTIFIED BY 'group';
GRANT REPLICATION SLAVE , REPLICATION CLIENT ON *.* TO rpl_user@'%';
FLUSH PRIVILEGES;
SET SQL_LOG_BIN=1;
CHANGE MASTER TO MASTER_USER='rpl_user', MASTER_PASSWORD='group' FOR CHANNEL 'group_replication_recovery';

在81上或91上执行,这里选择81.

SET GLOBAL group_replication_bootstrap_group=ON;
start group_replication;
SET GLOBAL group_replication_bootstrap_group=OFF;

在另外一个mysql实例上执行

#防止错乱
reset master;
start group_replication;

至此,多主搭建完毕。

2.3.4、其他

SQL调试脚本

#查看插件时否安装
show plugins;
#查看gtid
show global variables like '%gtid%' ;
#查看账号状态
select host,user,plugin,authentication_string from mysql.user;
#查看节点状态
select * from performance_schema.replication_group_members;
#查看单主还是多主
show variables like '%single%';
show variables like '%enforce_update_everywhere_checks';

网上有写,一直停留在RECOVERING状态时,要执行如下SQL语句,但是并没有用。

#8.0版本
SET GLOBAL group_replication_recovery_get_public_key=ON;
#5.7版本
SET GLOBAL group_replication_allow_local_disjoint_gtids_join=ON;

3、测试

在任意一个实例执行如下脚本,观察另外一台数据时否同步。

CREATE DATABASE test;
USE test;
CREATE TABLE t1 (c1 INT PRIMARY KEY, c2 TEXT NOT NULL);
INSERT INTO t1 VALUES (1, 'Luis');

SELECT * FROM t1;

4、多主、单主切换

4.1、从多主切换为单主

主节点上执行

stop group_replication;

set global group_replication_enforce_update_everywhere_checks=OFF;
set global group_replication_single_primary_mode=ON;

set global group_replication_bootstrap_group=ON;
start group_replication;
SET GLOBAL group_replication_bootstrap_group=OFF;

从节点上执行

stop group_replication;

set global group_replication_enforce_update_everywhere_checks=OFF;
set global group_replication_single_primary_mode=ON;

reset master;
start group_replication;

4.2、从单主切换为多主

某节点上执行

stop group_replication;

set global group_replication_enforce_update_everywhere_checks=ON;
set global group_replication_single_primary_mode=OFF;

set global group_replication_bootstrap_group=ON;
start group_replication;
SET GLOBAL group_replication_bootstrap_group=OFF;

另外节点上执行

stop group_replication;

set global group_replication_enforce_update_everywhere_checks=ON;
set global group_replication_single_primary_mode=OFF;

reset master;
start group_replication;
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 160,026评论 4 364
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 67,655评论 1 296
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 109,726评论 0 244
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 44,204评论 0 213
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 52,558评论 3 287
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 40,731评论 1 222
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 31,944评论 2 314
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 30,698评论 0 203
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 34,438评论 1 246
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 30,633评论 2 247
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 32,125评论 1 260
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 28,444评论 3 255
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 33,137评论 3 238
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 26,103评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,888评论 0 197
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 35,772评论 2 276
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 35,669评论 2 271

推荐阅读更多精彩内容