第八章 主从复制基础
0. 企业高可用性标准全年无故障率(非计划内故障停机)
99.9% ----> 0.001*365*24*60=525.6 min
99.99% ----> 0.0001*365*24*60=52.56 min
99.999% ----> 0.0001*365*24*60=5.256 min
企业级高可用架构方案
负载均衡:有一定的高可用性
LVS Nginx
主备系统:有高可用性,但是需要切换,是单活的架构
KeeppAlive ,MHA***** ,MMM ,TMHA
真正高可用(多活系统):
MySQL NDB Cluster
Oracle RAC
Sysbase cluster
PXC, ***
MGC, ***
InnoDB Cluster(MGR 5.7.17) ****
1. 主从复制简介
面试题:说一说什么是主从复制 ?
.1. 基于二进制日志复制的
.2. 主库的修改操作会记录二进制日志
.3. 从库会请求新的二进制日志并回放,最终达到主从数据同步
.4. 主从复制核心功能:
辅助备份,处理物理损坏
扩展新型的架构:高可用,高性能,分布式架构等
2. 主从复制前提(主从复制的规划,实施过程) ***
## 2.1 至少两个以上数据库实例
## 2.2 主库开启二进制日志(binlog), server_id,server_uuid不同
## 2.3 主库要有一个专用作复制的用户(replication slave)
## 2.4 通过备份将源数据补偿到从库 (补课过程)
## 2.5 告知从库,user,passwd,IP port,自动复制的起点(change master to)
## 2.6 需要专门的复制线程(三个):Dump thread IO thread SQL thread 开启(start slave)
3. 手撕主从复制(Classic replication) ***
3.1 准备多实例环境
#启动多实例
systemctl restart mysqld3307.service
systemctl restart mysqld3308.service
mysql -S /data/3307/mysql.sock
mysql -S /data/3308/mysql.sock
3.2 检查 主库binlog,不同server_id,server_uuid
[root@db01 ~]# mysql -S /data/3307/mysql.sock -e "select @@log_bin;select @@server_id"
[root@db01 ~]# mysql -S /data/3308/mysql.sock -e "select @@log_bin;select @@server_id"
3.3 主库创建复制用户
[root@db01 ~]# mysql -S /data/3307/mysql.sock -e "grant replication slave on *.* to repl@'10.0.0.%' identified by '123';"
[root@db01 ~]# mysql -S /data/3307/mysql.sock -e "select user,host from mysql.user where user='repl';"
3.4 通过备份将源库数据补偿到从库
mysqldump -S /data/3307/mysql.sock -A -R -E --triggers --master-data=2 --single-transaction --max-allowed-packet=128M >/tmp/full.sql
3.5 告知从库,用户名,密码,ip,port,自动复制的起点
# change master to
[root@db01 ~]# mysql -S /data/3307/mysql.sock
...
mysql [(none)]>help change master to
CHANGE MASTER TO
MASTER_HOST='10.0.0.51',
MASTER_USER='repl',
MASTER_PASSWORD='123456',
MASTER_PORT=3307,
MASTER_LOG_FILE='mysql-bin.000009',
MASTER_LOG_POS=444,
MASTER_CONNECT_RETRY=10;
vim /tmp/full.sql
-- CHANGE MASTER TO MASTER_LOG_FILE='mysql-bin.000009', MASTER_LOG_POS=444;
3.6 启动主从线程
[root@db01 ~]# mysql -S /data/3308/mysql.sock
mysql [(none)]>start slave;
3.7 检测主从状态
[root@db01 ~]# mysql -S /data/3308/mysql.sock -e "show slave status \G"|egrep "Running:"
Slave_IO_Running: Yes
Slave_SQL_Running: Yes
3.8 简单排错过程
[root@db01 ~]# mysql -S /data/3308/mysql.sock -e "show slave status \G;"|grep "Last"
3.9 如果还有问题:
[root@db01 ~]# mysql -S /data/3308/mysql.sock
mysql [(none)]>stop slave ;
mysql [(none)]>reset slave all;
mysql [(none)]>CHANGE MASTER TO xxxx
mysql [(none)]>start slave;
4. 主从复制原理
1.change master to 时,ip pot user password binlog position写入到master.info进行记录
2. start slave 时,从库会启动IO线程和SQL线程
3.IO_T,读取master.info信息,获取主库信息连接主库
4. 主库会生成一个准备binlog DUMP线程,来响应从库
5. IO_T根据master.info记录的binlog文件名和position号,请求主库DUMP最新日志
6. DUMP线程检查主库的binlog日志,如果有新的,TP(传送)给从从库的IO_T
7. IO_T将收到的日志存储到了TCP/IP 缓存,立即返回ACK给主库 ,主库工作完成
8.IO_T将缓存中的数据,存储到relay-log日志文件,更新master.info文件binlog 文件名和postion,IO_T工作完成
9.SQL_T读取relay-log.info文件,获取到上次执行到的relay-log的位置,作为起点,回放relay-log
10.SQL_T回放完成之后,会更新relay-log.info文件。
11. relay-log会有自动清理的功能。
细节:
1.主库一旦有新的日志生成,会发送“信号”给binlog dump ,IO线程再请求
4.1 主从复制过程中涉及到的文件
主库:
binlog 日志
mysql-bin.000001
mysql-bin.000002
从库:
relaylog 中继日志
db01-relay-bin.000001
db01-relay-bin.000002
master.info 信息文件
主库信息文件
relay-log.info 信息文件
中继日志信息文件
4.2 主从复制中涉及到的线程
主库:
Binlog_dump_Thread 二进制日志投递线程
[root@db01 /data/3307/data]# mysql -S /data/3307/mysql.sock -e "show processlist;"
+----+------+------------+------+-------------+------+---------------------------------------------------------------+------------------+
| Id | User | Host | db | Command | Time | State | Info |
+----+------+------------+------+-------------+------+---------------------------------------------------------------+------------------+
| 48 | repl | db01:34452 | NULL | Binlog Dump | 748 | Master has sent all binlog to slave; waiting for more updates | NULL |
| 51 | root | localhost | NULL | Query | 0 | starting | show processlist |
+----+------+------------+------+-------------+------+---------------------------------------------------------------+------------------+
从库:
Slave_IO_Thread
Slave_SQL_Thread