redis sentinel 主从切换(failover)解决方案,详细配置

主从复制简单来说就是把一台redis数据库中的数据同步到另一台redis数据库,并且按照数据流向,数据的发送者我们称作master,数据的接受者我们称作slave(master/slave的划分并不是那么一定的,譬如B可以作为A的slave,但同时也可以作为C的master),下面就从slave和master的角度分别说明主从复制流程。

首先是slave端,对于slave端来说,主从复制主要经历四个阶段:

第一阶段:与master建立连接

第二阶段:向master发起同步请求(SYNC)

第三阶段:接受master发来的RDB数据

第四阶段:载入RDB文件

下面我们就通过一个图来概述在每一个阶段中,slave究竟做了些什么:

关于上图,有一点说明下:redis接收到slaveof master_host master_port命令后并没有马上与master建立连接,而是当执行服务器例行任务serverCron,发现自己正处于REDIS_REPL_CONNECT状态,这时才真正的向maser发起连接,伪代码:

Python代码

defserverCron():

# 服务器处于REDIS_REPL_CONNECT状态

ifredisServer.repl_state == REDIS_REPL_CONNECT:

# 向master发起连接

connectWithMaster()

# 其他例行任务(省略)...

接着我们来看下主从复制过程中,master这边的流程是如何,在具体看细节之前,我们先综合来看master这边主要做的几件事情:

看完这个图,你也许会有以下几个疑问:

1. 为什么在master发送完RDB文件后,还要定期的向slave发送PING命令?

2. 在发送完RDB文件之后,master发送的“变更”命令又是什么,有什么用?

在回答问题之前1,我们先回答问题2:

master保存RDB文件是通过一个子进程进行的,所以master依然可以处理客户端请求而不被阻塞,但这也导致了在保存RDB文件期间,“键空间”可能发生变化(譬如接收到一个客户端请求,执行"set name diaocow"命令),因此为了保证数据同步的一致性,master会在保存RDB文件期间,把接受到的这些可能变更数据库“键空间”的命令保存下来,然后放到每个slave的回复列表中,当RDB文件发送完master会发送这些回复列表中的内容,并且在这之后,如果数据库发生变更,master依然会把变更的命令追加到回复列表发送给slave,这样就可以保证master和slave数据的一致性!相关伪代码:

Python代码

defprocessCommand(cmd, argc, argv):

# 处理命令

call(cmd, argc, argv)

# 如果该命令造成数据库键空间变化and当前redis是一个master,则同步变更命令

ifredisServer.update_key_spaceandlen(redisServer.slaves) >0:

replicationFeedSlaves(cmd, argc, argv)

defreplicationFeedSlaves(cmd, argc, argv):

# 把变更命令发送给每一个处于:REDIS_REPL_WAIT_BGSAVE_END状态的slave节点

forslaveinredisServer.slaves:

ifslave.replstate == REDIS_REPL_WAIT_BGSAVE_START:

continue

slave.updateNotify(cmd, argc, argv)

由于在发送完RDB文件之后,master会不定时的给slave发送“变更”命令,可能过1s,也可能过1小时,所以为了防止slave无意义等待(譬如master已经挂掉的情况),master需要定时发送“保活”命令PING,以此告诉slave:我还活着,不要中断与我的连接

现在我们就看下,当master接受到slave发送的sync同步命令后究竟发生了哪些事:

上图看似分支复杂,但我们抓住以下几点即可:

1.保存RDB文件是在一个子进程中进行的;

2.如果master已经在保存RDB文件,但是没有客户端正在等待这次BGSAVE,新添加的slave需要等到下次BGSAVE,而不能直接使用这次生成的RDB文件(原因图中已经说明)

3.master会定期检查RDB文件是否保存完毕(时间事件serverCron);

接下来我们看下,master是如何给每一个slave发送RDB文件的:

好了,至此我们已经分析完在主从复制过程中,master和slave两边分别是怎么一个处理流程;最后,我绘制了一个图,综述了主从复制这一过程(我们可以边看图,边回忆其中的具体细节):

PS:在主从复制过程中,任何一步发生错误,都会导致整个过程重头开始,所以若RDB文件很大又或是此时正处在业务高峰期,对系统性能将会有非常大的影响!

总结:

1. 了解主从复制master和slave的概念;

2. 了解主从复制执行过程,特别是其中关键的几步;

3. 了解目前主从复制过程中尚存的不足之处;

查看图片附件

oyhk 学习笔记

网站的访问量慢慢上来了。为了网站的性能方面,开始用了Redis做缓存策略。刚开始的时候,redis是一个单点,当一台机器岩机的时候,redis的服务完全停止,这时就会影响其他服务的正常运行。费话不多说了,下面利用redis sentinel做一个主从切换的集群管理。做这个集群管理的时候,查过很多资料才完全了解,他是怎么做的。

Java客户端请看:

http://blog.mkfree.com/posts/52b146e6479e5a64742fddd0

参考资料:http://redis.io/topics/sentinel我也是看这篇文章。

环境配置:

由于我这次配置没有太多的机器,我用了vagrant 去开了多台虚拟机。然后搭好了环境。

redis的安装请参考:redis 简单官方脚本安装方法(linux)

集群配置最少需要三台机器,那么我就三台虚拟机,三台虚拟机分别安装同样的redis的环境

ip分别:

192.168.9.17  (redis sentinel 集群监控)

192.168.9.18  (redis 主)

192.168.9.19  (redis 从)

redis配置:

主的redis配置文件,使用默认的配置文件就可以了,如果你需要设计其他参数

从的redis配置文件,添加

#从的redis配置文件,需要添加vim/etc/redis/6379.confslaveof192.168.9.186379

启动主从redis

#启动主redis(192.168.9.18)/etc/init.d/redis_6379.conf start#启动从redis(192.168.9.19)/etc/init.d/redis_6379.conf start

查看主redis信息

#查看主redis的信息redis-cli-h192.168.9.18infoReplication#Replicationrole:master#代表192.168.9.18:6379这台redis是主connected_slaves:1slave0:192.168.9.18,6379,online

查看从redis信息

#查看主redis的信息redis-cli-h192.168.9.19infoReplication#Replicationrole:slave#代表192.168.9.18:6379这台redis是主master_host:192.168.9.18master_port:6379master_link_status:up

master_last_io_seconds_ago:4master_sync_in_progress:0slave_priority:100slave_read_only:1connected_slaves:0

配置redis sentinel集群监控服务

1.添加一份redis sentinel 配置文件

vim/etc/redis/sentinel.conf##redis-0##sentinel实例之间的通讯端口port26379#master1

sentinel monitor master1192.168.9.1863791sentinel down-after-milliseconds master15000sentinel failover-timeout master1900000sentinel can-failover master1 yes

sentinel parallel-syncs master12#master2可以添加多组主从的redis监听.......

2.有配置文件了,那么启动redis sentinel做redis集群监听

redis-sentinel sentinel.conf--sentinel

好了,所有环境都搭好了。下面开始正式的演示

1.正常演示。

把主的redis启动

把从的redis启动

把redis sentinel 集群监听启动

观察redis sentinel 日志信息

这里很清楚地看到,从的redis加入了集群

[4925]15Oct03:42:21.889*+slave slave192.168.9.19:6379192.168.9.196379@master1192.168.9.186379

执行以下命令,查看redis主从信息

[root@localhost vagrant]#redis-cli-h192.168.9.17-p26379infoSentinel#Sentinelsentinel_masters:1sentinel_tilt:0sentinel_running_scripts:0sentinel_scripts_queue_length:0master0:name=master1,status=ok,address=192.168.9.18:6379,slaves=1,sentinels=1

那么表示一切都正常了。你的redis sentinel集群已经配置成功!

2.故障演示

2.1当主的redis 服务器岩机了,会发生什么情况呢?

执行以下命令使用主的redis服务停止

redis-cli-h192.168.9.18-p6379shutdown#表示把192.168.9.18这台redis关闭

关闭后,我们再查看redis sentinel 的日志情况

这张图片很清晰地反应到,redis sentinel 监控到主的redis服务停止,然后自动把从的redis切换到主。

再执行以下命令,查看redis主从信息

[root@localhost vagrant]#redis-cli-h192.168.33.111-p26379infoSentinel#Sentinelsentinel_masters:1sentinel_tilt:0sentinel_running_scripts:0sentinel_scripts_queue_length:0master0:name=master1,status=ok,address=192.168.9.19:6379,slaves=1,sentinels=1

把从已经升为主了。那么自动切换就已经成功了!

2.2 当我们已经发现,一台redis发生故障了,可能会收到一些故障信息,那么再把服务已关闭的redis恢复服务状态,会发生怎么样的情况呢?

redis sentinel 集群服务,会把上次主redis重新加入服务中,但是他再以不是主的redis了,变成从的reids。

哈.....完成了。。。下篇会写关于,客户端调用主从集群自动切换使用例子。我会以java为使用客户端.

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 158,736评论 4 362
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 67,167评论 1 291
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 108,442评论 0 243
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 43,902评论 0 204
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 52,302评论 3 287
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 40,573评论 1 216
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 31,847评论 2 312
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 30,562评论 0 197
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 34,260评论 1 241
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 30,531评论 2 245
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 32,021评论 1 258
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 28,367评论 2 253
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 33,016评论 3 235
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 26,068评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,827评论 0 194
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 35,610评论 2 274
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 35,514评论 2 269

推荐阅读更多精彩内容