NoSQL Redis 集群架构（Cluster）--Day2

redis集群

一、集群redis cluster

1、哨兵的不足 

1、配置复制
- ansible利用模块和模块

2、中断时间长
-调整参数

3、资源利用率低，只有一台主库对外提供服务

4、3台只能挂1台
- 调整数

5、依赖于redis数据节点

6、主库压力比较大，性能有瓶颈

2、redis cluster 

1.槽位分配slot
2.16384个槽位
3.每一个槽都得分配到位，有一个槽没分配，整个集群不可用
4.序号顺序不一定要连续，最重要的是每个节点的槽位数量要大致相同，允许2%的误差
5.集群通讯端口为配置文件里的port加10000，比如6380，通讯端口就是16380
6.故障转移切换全自动，不需要人工干预
7.集群配置文件动态更新，千万千万千万我求你了baby不需要手动更改
8.代码连接redis集群需要插件驱动支持
9.集群内消息传递是同步的
10.集群内的所有已经发现的节点配置文件是自动更新的
11.hash分配算法是足够随机和足够平均的足够稳定

3、集群搭建 

========================
所有节点操作
========================
pkill redis

========================
db01操作
========================
mkdir -p /opt/redis_cluster/redis_{6380,6381}/{conf,logs,pid}
mkdir –p /data/redis_cluster/redis_{6380,6381}
cat >/opt/redis_cluster/redis_6380/conf/redis_6380.conf<<EOF
bind 10.0.0.51
port 6380
daemonize yes
pidfile "/opt/redis_cluster/redis_6380/pid/redis_6380.pid"
logfile "/opt/redis_cluster/redis_6380/logs/redis_6380.log"
dbfilename "redis_6380.rdb"
dir "/data/redis_cluster/redis_6380/"
cluster-enabled yes
cluster-config-file nodes_6380.conf
cluster-node-timeout 15000
EOF
cat >/opt/redis_cluster/redis_6381/conf/redis_6381.conf<<EOF
bind 10.0.0.51
port 6381
daemonize yes
pidfile "/opt/redis_cluster/redis_6381/pid/redis_6381.pid"
logfile "/opt/redis_cluster/redis_6381/logs/redis_6381.log"
dbfilename "redis_6381.rdb"
dir "/data/redis_cluster/redis_6381/"
cluster-enabled yes
cluster-config-file nodes_6381.conf
cluster-node-timeout 15000
EOF
redis-server /opt/redis_cluster/redis_6380/conf/redis_6380.conf
redis-server /opt/redis_cluster/redis_6381/conf/redis_6381.conf

========================
db02操作：
========================
mkdir -p /opt/redis_cluster/redis_{6380,6381}/{conf,logs,pid}
mkdir –p /data/redis_cluster/redis_{6380,6381}
cat >/opt/redis_cluster/redis_6380/conf/redis_6380.conf<<EOF
bind 10.0.0.52
port 6380
daemonize yes
pidfile "/opt/redis_cluster/redis_6380/pid/redis_6380.pid"
logfile "/opt/redis_cluster/redis_6380/logs/redis_6380.log"
dbfilename "redis_6380.rdb"
dir "/data/redis_cluster/redis_6380/"
cluster-enabled yes
cluster-config-file nodes_6380.conf
cluster-node-timeout 15000
EOF
cat >/opt/redis_cluster/redis_6381/conf/redis_6381.conf<<EOF
bind 10.0.0.52
port 6381
daemonize yes
pidfile "/opt/redis_cluster/redis_6381/pid/redis_6381.pid"
logfile "/opt/redis_cluster/redis_6381/logs/redis_6381.log"
dbfilename "redis_6381.rdb"
dir "/data/redis_cluster/redis_6381/"
cluster-enabled yes
cluster-config-file nodes_6381.conf
cluster-node-timeout 15000
EOF
redis-server /opt/redis_cluster/redis_6380/conf/redis_6380.conf
redis-server /opt/redis_cluster/redis_6381/conf/redis_6381.conf

========================
db03操作
========================
mkdir -p /opt/redis_cluster/redis_{6380,6381}/{conf,logs,pid}
mkdir –p /data/redis_cluster/redis_{6380,6381}
cat >/opt/redis_cluster/redis_6380/conf/redis_6380.conf<<EOF
bind 10.0.0.53
port 6380
daemonize yes
pidfile "/opt/redis_cluster/redis_6380/pid/redis_6380.pid"
logfile "/opt/redis_cluster/redis_6380/logs/redis_6380.log"
dbfilename "redis_6380.rdb"
dir "/data/redis_cluster/redis_6380/"
cluster-enabled yes
cluster-config-file nodes_6380.conf
cluster-node-timeout 15000
EOF
cat >/opt/redis_cluster/redis_6381/conf/redis_6381.conf<<EOF
bind 10.0.0.53
port 6381
daemonize yes
pidfile "/opt/redis_cluster/redis_6381/pid/redis_6381.pid"
logfile "/opt/redis_cluster/redis_6381/logs/redis_6381.log"
dbfilename "redis_6381.rdb"
dir "/data/redis_cluster/redis_6381/"
cluster-enabled yes
cluster-config-file nodes_6381.conf
cluster-node-timeout 15000
EOF
redis-server /opt/redis_cluster/redis_6380/conf/redis_6380.conf
redis-server /opt/redis_cluster/redis_6381/conf/redis_6381.conf

========================
所有节点查看
========================
ps -ef|grep redis

[root@db01 ~]# sh redis_shell.sh login  6380
10.0.0.51:6380>  CLUSTER NODES
22b980e9074343a07575d82a15675ebd7a6060aa :6380 myself,master - 0 0 0 connected
10.0.0.51:6380> 
[root@db01 ~]# cat /data/redis_cluster/redis_6380/nodes_6380.conf
22b980e9074343a07575d82a15675ebd7a6060aa :0 myself,master - 0 0 0 connected
vars currentEpoch 0 lastVoteEpoch 0

发现集群
redis-cli -h 10.0.0.51 -p 6380 cluster meet 10.0.0.51 6381
redis-cli -h 10.0.0.51 -p 6380 cluster meet 10.0.0.52 6380
redis-cli -h 10.0.0.51 -p 6380 cluster meet 10.0.0.52 6381
redis-cli -h 10.0.0.51 -p 6380 cluster meet 10.0.0.53 6380
redis-cli -h 10.0.0.51 -p 6380 cluster meet 10.0.0.53 6381

分配槽位
redis-cli -h 10.0.0.51 -p 6380 cluster addslots {0..5461}
redis-cli -h 10.0.0.52 -p 6380 cluster addslots {5462..10922}
redis-cli -h 10.0.0.53 -p 6380 cluster addslots {10923..16383}
redis-cli -h 10.0.0.51 -p 6380 cluster nodes

测试：插入1000行数据测试
for i in {0..1000};do redis-cli -c -h db01 -p 6380 set 58NB_${i} 58V5_${i};done
导出：
for i in {1..1000};do redis-cli -c -h db01 -p 6380 get 58NB_${i} ;done > 100.txt

高可用：
1、先查看节点信息，并保存
[root@db01 ~]# redis-cli -c -h db01 -p 6381 cluster nodes |grep -v "6381" |awk '{print $1,$2}'
22b980e9074343a07575d82a15675ebd7a6060aa 10.0.0.51:6380
80f14d1a348e97f0664479940506ff59ae2bd26e 10.0.0.52:6380
1546cba420db5b11021dce8e2db132a933c10093 10.0.0.53:6380

2、先在txt文本敲，先别在shell里执行
redis-cli -c -h db01 -p 6381 cluster replicate  80f14d1a348e97f0664479940506ff59ae2bd26e
redis-cli -c -h db02 -p 6381 cluster replicate  1546cba420db5b11021dce8e2db132a933c10093
redis-cli -c -h db03 -p 6381 cluster replicate  22b980e9074343a07575d82a15675ebd7a6060aa

3、测试
[root@db01 ~]# sh redis_shell.sh  stop 6380

[root@db01 ~]# sh redis_shell.sh  login 6381
10.0.0.51:6381> CLUSTER NODES
cf1444bd8e7db1d5d08968a6ba97beeb9ce115e4 10.0.0.53:6381 master - 0 1562230469840 6 connected 0-5461
22b980e9074343a07575d82a15675ebd7a6060aa 10.0.0.51:6380 slave cf1444bd8e7db1d5d08968a6ba97beeb9ce115e4 0 1562230470845 6 connected
80f14d1a348e97f0664479940506ff59ae2bd26e 10.0.0.52:6380 master - 0 1562230468831 5 connected 5462-10922
0b8765f55f8e3cd2617553208d1e05ad11d0f105 10.0.0.52:6381 slave 1546cba420db5b11021dce8e2db132a933c10093 0 1562230468325 4 connected
424deaf1b06ad52cdab1a07f6ec4e70e251b3a7e 10.0.0.51:6381 myself,slave 80f14d1a348e97f0664479940506ff59ae2bd26e 0 0 2 connected
1546cba420db5b11021dce8e2db132a933c10093 10.0.0.53:6380 master - 0 1562230471858 3 connected 10923-16383

[root@db01 ~]# sh redis_shell.sh  start 6380
root      16213      1  0 10:13 ?        00:00:56 redis-server 10.0.0.51:6381 [cluster]
root      20808  15984  0 16:54 pts/0    00:00:00 sh redis_shell.sh start 6380
root      20816      1  0 16:54 ?        00:00:00 redis-server /opt/redis_cluster/redis_6380/conf/redis_6380.conf
root      20818  20808  0 16:54 pts/0    00:00:00 grep redis

[root@db01 ~]# sh redis_shell.sh  login 6380
10.0.0.51:6380> CLUSTER FAILOVER
OK

[root@db01 /opt/redis_cluster/redis/src]# redis-cli -c -h 10.0.0.51  -p 6381 cluster nodes|grep   "master" && redis-cli -c -h 10.0.0.51  -p 6381 cluster nodes|grep  "slave"
22b980e9074343a07575d82a15675ebd7a6060aa 10.0.0.51:6380 myself,master - 0 0 7 connected 0-5461
424deaf1b06ad52cdab1a07f6ec4e70e251b3a7e 10.0.0.51:6381 slave 80f14d1a348e97f0664479940506ff59ae2bd26e 0 1562230560903 5 connected
cf1444bd8e7db1d5d08968a6ba97beeb9ce115e4 10.0.0.53:6381 master - 0 1562230559895 6 connected
0b8765f55f8e3cd2617553208d1e05ad11d0f105 10.0.0.52:6381 slave 1546cba420db5b11021dce8e2db132a933c10093 0 1562230556867 4 connected
80f14d1a348e97f0664479940506ff59ae2bd26e 10.0.0.52:6380 master - 0 1562230561917 5 connected 5462-10922
1546cba420db5b11021dce8e2db132a933c10093 10.0.0.53:6380 master - 0 1562230562923 3 connected 10923-16383
image

使用工具部署集群 Redis Cluster 

db01安装命令： 
yum makecache fast 
yum install rubygems 
gem sources --remove https://rubygems.org/ 
gem sources -a http://mirrors.aliyun.com/rubygems/ 
gem update –system 
gem install redis -v 3.3.5 

我们可以停掉所有的节点，然后清空数据，恢复成一个全新的集群，所有机器执行命令 
pkill redis 
rm -rf /data/redis_cluster/redis_6380/* 
rm -rf /data/redis_cluster/redis_6381/* 
sh redis_shell.sh start 6380 
sh redis_shell.sh start 6381 

db01 执行创建集群命令 (一条一条执行)
cd /opt/redis_cluster/redis/src/
./redis-trib.rb create --replicas 1 10.0.0.51:6380 10.0.0.52:6380 10.0.0.53:6380 10.0.0.51:6381 10.0.0.52:6381 10.0.0.53:6381
./redis-trib.rb check 10.0.0.51:6380
./redis-trib.rb rebalance 10.0.0.51:6380

结果：
[root@db01 /opt/redis_cluster/redis/src]# redis-cli -c -h 10.0.0.51  -p 6381 cluster nodes|grep   "master" && redis-cli -c -h 10.0.0.51  -p 6381 cluster nodes|grep  "slave"
4a553202242e9110f2f212288c17c27c18daeb9b 10.0.0.52:6380 master - 0 1562232699330 2 connected 5461-10922
c6676ac73f4507d841e912313979bf0ce0e760a6 10.0.0.51:6380 master - 0 1562232703362 1 connected 0-5460
e02124f11c3ea09c613115e4b3bc258b0fec6520 10.0.0.53:6380 master - 0 1562232704376 3 connected 10923-16383
b93baeb5911bed7dff6802cbd8be1d4adad16fbc 10.0.0.52:6381 slave c6676ac73f4507d841e912313979bf0ce0e760a6 0 1562232691259 5 connected
4eafdbf7bb0d3f117c93d763a8966c0992ea3bcb 10.0.0.51:6381 myself,slave 4a553202242e9110f2f212288c17c27c18daeb9b 0 0 4 connected
615559201ae450471495b5fb54282e493ebe1a63 10.0.0.53:6381 slave e02124f11c3ea09c613115e4b3bc258b0fec6520 0 1562232695293 6 connected
©著作权归作者所有,转载或内容合作请联系作者
  • 人面猴
    序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
    沈念sama阅读 158,736评论 4赞 362
  • 死咒
    序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
    沈念sama阅读 67,167评论 1赞 291
  • 救了他两次的神仙让他今天三更去死
    文/潘晓璐 我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
    开封第一讲书人阅读 108,442评论 0赞 243
  • 道士缉凶录：失踪的卖姜人
    文/不坏的土叔 我叫张陵，是天一观的道长。 经常有香客问我，道长，这世上最难降的妖魔是什么？ 我笑而不...
    开封第一讲书人阅读 43,902评论 0赞 204
  • 港岛之恋（遗憾婚礼）
    正文 为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
    茶点故事阅读 52,302评论 3赞 287
  • 恶毒庶女顶嫁案：这布局不是一般人想出来的
    文/花漫 我一把揭开白布。 她就那样静静地躺着，像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上，一...
    开封第一讲书人阅读 40,573评论 1赞 216
  • 城市分裂传说
    那天，我揣着相机与录音，去河边找鬼。 笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。 我是一名探鬼主播，决...
    沈念sama阅读 31,847评论 2赞 312
  • 双鸳鸯连环套：你想象不到人心有多黑
    文/苍兰香墨 我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
    开封第一讲书人阅读 30,562评论 0赞 197
  • 万荣杀人案实录
    序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
    沈念sama阅读 34,260评论 1赞 241
  • 护林员之死
    正文 独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 30,531评论 2赞 245
  • 白月光启示录
    正文 我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 32,021评论 1赞 258
  • 活死人
    序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
    沈念sama阅读 28,367评论 2赞 253
  • 日本核电站爆炸内幕
    正文 年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
    茶点故事阅读 33,016评论 3赞 235
  • 男人毒药：我在死后第九天来索命
    文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 26,068评论 0赞 8
  • 一桩弑父案，背后竟有这般阴谋
    文/苍兰香墨 我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,827评论 0赞 194
  • 情欲美人皮
    我被黑心中介骗来泰国打工， 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。 一个月前我还...
    沈念sama阅读 35,610评论 2赞 274
  • 代替公主和亲
    正文 我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
    茶点故事阅读 35,514评论 2赞 269

推荐阅读更多精彩内容

  • redis三种集群策略
    redis redis是单线程的，但是一般的作为缓存使用的话，redis足够了，因为它的读写速度太快了。官方的一个...
    普度众生的面瘫青年阅读 5,037评论 0赞 4
  • redis集群
    redis集群分为服务端集群和客户端分片，redis3.0以上版本实现了集群机制，即服务端集群，3.0以下使用客户...
    hadoop_null阅读 1,558评论 0赞 6
  • Redis学习笔记2-集群部署
    本文是对Redis的集群部署模式一个学习总结，共包括如下章节内容： 概述 主从集群模式 “哨兵”集群模式 Clus...
    我是老薛阅读 882评论 0赞 4
  • 过去三年，我总在传销它--《社会动物》
    《社会动物》，中信出版社2012年出版，作者戴维·布鲁克斯。一个关于爱、性格和成就的故事。作者在书中精心刻画了两个...
    serena3352阅读 311评论 0赞 0
  • 复习白天所学的资料分析
    根据学习力法则，有效的学习应该是系统的学习，通过做行测80分中的资料分析题，我稍微做了一些考点的总结：一、基期量 ...
    juliareal阅读 2,440评论 0赞 1