第二十周-day88-数据库day10-主从复制基础

第八章 主从复制基础

0. 企业高可用性标准全年无故障率(非计划内故障停机)

99.9%                 ----> 0.001*365*24*60=525.6  min
99.99%                ----> 0.0001*365*24*60=52.56 min
99.999%               ----> 0.0001*365*24*60=5.256 min

企业级高可用架构方案

负载均衡:有一定的高可用性 
LVS  Nginx

主备系统:有高可用性,但是需要切换,是单活的架构
KeeppAlive ,MHA***** ,MMM ,TMHA

真正高可用(多活系统): 
MySQL NDB Cluster 
Oracle RAC  
Sysbase cluster 
PXC,    ***
MGC,    ***
InnoDB Cluster(MGR 5.7.17) ****


1. 主从复制简介

面试题:说一说什么是主从复制 ?

.1. 基于二进制日志复制的
.2. 主库的修改操作会记录二进制日志
.3. 从库会请求新的二进制日志并回放,最终达到主从数据同步
.4. 主从复制核心功能:
辅助备份,处理物理损坏                   
扩展新型的架构:高可用,高性能,分布式架构等

2. 主从复制前提(主从复制的规划,实施过程) ***

## 2.1 至少两个以上数据库实例 
## 2.2 主库开启二进制日志(binlog), server_id,server_uuid不同
## 2.3 主库要有一个专用作复制的用户(replication slave)
## 2.4 通过备份将源数据补偿到从库 (补课过程)
## 2.5 告知从库,user,passwd,IP port,自动复制的起点(change master to)
## 2.6 需要专门的复制线程(三个):Dump thread  IO thread  SQL thread 开启(start slave)


3. 手撕主从复制(Classic replication) ***

3.1 准备多实例环境

#启动多实例
systemctl restart mysqld3307.service
systemctl restart mysqld3308.service

mysql -S /data/3307/mysql.sock
mysql -S /data/3308/mysql.sock

3.2 检查 主库binlog,不同server_id,server_uuid

[root@db01 ~]# mysql -S /data/3307/mysql.sock -e "select @@log_bin;select @@server_id"
[root@db01 ~]# mysql -S /data/3308/mysql.sock -e "select @@log_bin;select @@server_id"

3.3 主库创建复制用户

[root@db01 ~]# mysql -S /data/3307/mysql.sock -e "grant replication slave on *.* to repl@'10.0.0.%' identified by '123';"
[root@db01 ~]# mysql -S /data/3307/mysql.sock -e "select user,host from mysql.user where user='repl';"

3.4 通过备份将源库数据补偿到从库

mysqldump  -S /data/3307/mysql.sock -A  -R -E --triggers --master-data=2 --single-transaction --max-allowed-packet=128M   >/tmp/full.sql

3.5 告知从库,用户名,密码,ip,port,自动复制的起点

# change master to 
[root@db01 ~]# mysql -S /data/3307/mysql.sock 
...
mysql [(none)]>help change master to

CHANGE MASTER TO
  MASTER_HOST='10.0.0.51',
  MASTER_USER='repl',
  MASTER_PASSWORD='123456',
  MASTER_PORT=3307,
  MASTER_LOG_FILE='mysql-bin.000009',
  MASTER_LOG_POS=444,
  MASTER_CONNECT_RETRY=10;
vim /tmp/full.sql
-- CHANGE MASTER TO MASTER_LOG_FILE='mysql-bin.000009', MASTER_LOG_POS=444;

3.6 启动主从线程

[root@db01 ~]# mysql -S /data/3308/mysql.sock
mysql [(none)]>start slave;

3.7 检测主从状态

[root@db01 ~]# mysql -S /data/3308/mysql.sock -e "show slave status \G"|egrep "Running:" 
             Slave_IO_Running: Yes
            Slave_SQL_Running: Yes

3.8 简单排错过程

[root@db01 ~]# mysql -S /data/3308/mysql.sock -e "show slave status \G;"|grep "Last" 

3.9 如果还有问题:

[root@db01 ~]# mysql -S /data/3308/mysql.sock
mysql [(none)]>stop slave ;
mysql [(none)]>reset slave all;
mysql [(none)]>CHANGE MASTER TO xxxx
mysql [(none)]>start slave;

4. 主从复制原理


1.change master to 时,ip pot user password binlog position写入到master.info进行记录
2. start slave 时,从库会启动IO线程和SQL线程
3.IO_T,读取master.info信息,获取主库信息连接主库
4. 主库会生成一个准备binlog DUMP线程,来响应从库
5. IO_T根据master.info记录的binlog文件名和position号,请求主库DUMP最新日志
6. DUMP线程检查主库的binlog日志,如果有新的,TP(传送)给从从库的IO_T
7. IO_T将收到的日志存储到了TCP/IP 缓存,立即返回ACK给主库 ,主库工作完成
8.IO_T将缓存中的数据,存储到relay-log日志文件,更新master.info文件binlog 文件名和postion,IO_T工作完成
9.SQL_T读取relay-log.info文件,获取到上次执行到的relay-log的位置,作为起点,回放relay-log
10.SQL_T回放完成之后,会更新relay-log.info文件。
11. relay-log会有自动清理的功能。
细节:
1.主库一旦有新的日志生成,会发送“信号”给binlog dump ,IO线程再请求

4.1 主从复制过程中涉及到的文件

主库:
  binlog 日志
    mysql-bin.000001
    mysql-bin.000002

从库:
  relaylog 中继日志
      db01-relay-bin.000001
      db01-relay-bin.000002

  master.info 信息文件
    主库信息文件

  relay-log.info 信息文件
    中继日志信息文件

4.2 主从复制中涉及到的线程

主库:
Binlog_dump_Thread  二进制日志投递线程

[root@db01 /data/3307/data]# mysql -S /data/3307/mysql.sock -e "show processlist;"
+----+------+------------+------+-------------+------+---------------------------------------------------------------+------------------+
| Id | User | Host       | db   | Command     | Time | State                                                         | Info             |
+----+------+------------+------+-------------+------+---------------------------------------------------------------+------------------+
| 48 | repl | db01:34452 | NULL | Binlog Dump |  748 | Master has sent all binlog to slave; waiting for more updates | NULL             |
| 51 | root | localhost  | NULL | Query       |    0 | starting                                                      | show processlist |
+----+------+------------+------+-------------+------+---------------------------------------------------------------+------------------+

从库: 
Slave_IO_Thread
Slave_SQL_Thread
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 158,847评论 4 362
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 67,208评论 1 292
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 108,587评论 0 243
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 43,942评论 0 205
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 52,332评论 3 287
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 40,587评论 1 218
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 31,853评论 2 312
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 30,568评论 0 198
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 34,273评论 1 242
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 30,542评论 2 246
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 32,033评论 1 260
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 28,373评论 2 253
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 33,031评论 3 236
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 26,073评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,830评论 0 195
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 35,628评论 2 274
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 35,537评论 2 269