Rocketmq集群介绍

1.Rocketmq集群部署方式

此处说的master、slave说的都是Rocketmq中的Broker。

1)单Master模式:

这种方式风险较大,一旦单个broker重启或宕机,会导致整个Rocketmq不可用!仅用于本地测试使用。

2)多Master模式:

全是Master,没有Slave。

优点:配置简单,单个broker宕机或者重启了对应用是无影响的

缺点:宕机的Master上未被消费的消息在Master没有恢复之前不可以订阅,消息时效性会受到影响

3)多Master多Slave模式(异步复制):

每个master配置一个slave,HA采用异步复制的方法,主备有短暂延迟(毫秒级)

优点:即使master出问题了,消息者也可以通过slave消费并且此过程对应用透明无需人工干预

缺点:master宕机、磁盘损坏情况下会出现丢失少量消息

4)多Master多Slave模式(同步双写):

每个master配置一个slave,HA采用同步双写的方法,只有主备都写成功了,才向应用返回成功。

有点:数据与服务都无单点故障,master宕机情况下,消息无延迟,服务可用性与数据可用性都非常高

缺点:性能比异步复制占用性高

2.安装环境

java版本:1.8.0_201    centos:7.5     rocketmq:5.1.3

主机A:192.168.37.8   主机B:192.168.37.9

3.Rocketmq集群部署方案:

此处使用两台服务器搭建双NameServer、双主Broker、双从Broker结构的Rocketmq集群

3.0)下载、解压Rocketmq

wget  https://dist.apache.org/repos/dist/release/rocketmq/5.1.3/rocketmq-all-5.1.3-bin-release.zip

unzip  rocketmq-all-5.1.3-bin-release.zip  

mv  rocketmq-all-5.1.3-bin-release   rocketmq

3.1 搭建NameServer

1)修改jvm参数(可不做

在启动NameServer之前,建议修改一下启动时的jvm参数,因为默认的参数都比较大,为了避免内存不够,建议修改小。当然,如果你的内存足够大,可以忽略!

vim  rocketmq/bin/runserver.sh

JAVA_OPT="${JAVA_OPT} -server -Xms512m -Xmx512 -Xmn256m -XX:MetaspaceSize=32m -XX:MaxMetaspaceSize=50m"

2)修改日志存放位置:

2-1)默认存放位置:

配置文件为conf/rmq.namesrv.logback.xml中

文件存放位置:/app/logs/rocketmqlogs/{namesrv_default.log,  namesrv.log,namesrv_traffic.log}

2-2)修改文件存放位置:

创建目录存放位置

mkdir  /app/rocketmq/logs

方法1:直接指定日志存放位置

nohup /bin/bash /app/rocketmq/bin/mqnamesrv > /app/rocketmq/logs/mqnamesrv.log 2>&1 &

方法2:启动文件中指定参数值

替换user.home的值为日志存储位置,比如/app/rocketmq

sed  -i  's#${user.home}#/app/rocketmq#g' /app/rocketmq/conf/*.xml

3)启动NameServer服务:

nohup /bin/bash /app/rocketmq/bin/mqnamesrv &

启动截图
9876端口监听

4)关闭NameServer:

/bin/bash /app/rocketmq/bin/mqshutdown namesrv

5)NameServer默认监听端口:9876

如果想修改默认监听端口,在rocketmq的conf目录下添加namesrv.properties文件,文件中添加端口配置

listenPort=8876

启动的时候需要指定配置文件:nohup  sh bin/mqnamesrv -c conf/namesrv.properties &

8876端口监听

3.2安装Broker

每台主机上都要启动一个Master和Slave角色的Broker并且互为主备。

A机器                                                     B机器                 

broker-a的master节点                    broker-a的slave节点

broker-b的slave节点                      broker-b的master节点

在conf下面提供了几种集群方式的配日志文件实例:

2m-noslave-----------------双master节点

2m-2s-sync -----------------双master双slave同步双写模式

2m-2s-async----------------双master双slave异步复制模式

此次安装采用2m-2s-async

1)修改A服务器broker-a.properties节点的配置信息:

broker-a.properties-master节点配置文件

2)修改A服务器Slave Broker的配置文件broker-b-s.properties(主要关注红色标注的配置信息):

broker-b-s.properties-slave节点配置信息

3)修改B服务器上的Master Broker的配置文件broker-b.properties

broker-b.properties-master节点配置文件

4)在B服务器上的Slave Broker的配置文件broker-a-s.properties

broker-a-s.properties-slave节点

4)启动有可能会报内存不足,需要手动调整broker的启动参数(broker的java启动内存参数配置的是8g,请根据服务器实际资源做调整):

将JAVA_OPT="${JAVA_OPT} -server -Xms8g -Xmx8g"   修改为JAVA_OPT="${JAVA_OPT} -server -Xms512m -Xmx512m -Xmn 512m"

5)启动broker:

启动时,先启动两台机器上的Master节点,再启动两台机器上的Slave节点

A-master:nohup sh bin/mqbroker -c conf/2m-2s-async/broker-a.properties &

B-master:nohup sh bin/mqbroker -c conf/2m-2s-async/broker-b.properties &

A-slave:nohup sh bin/mqbroker -c conf/2m-2s-async/broker-b-s.properties &

B-slave:nohup sh bin/mqbroker -c conf/2m-2s-async/broker-a-s.properties &

6)查看集群情况:

mqadmin查看集群情况

4.关闭rocketmq服务:

先关闭Broker、再关闭NameServer,服务启动的时候正好相反。

sh bin/mqshutdown broker

sh bin/mqshutdown namesrv

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 120,721评论 1 243
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 52,736评论 1 203
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 75,948评论 0 170
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 36,903评论 0 130
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 43,748评论 1 208
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 36,254评论 1 128
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 28,214评论 2 210
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 27,312评论 0 121
  • 想象着我的养父在大火中拼命挣扎,窒息,最后皮肤化为焦炭。我心中就已经是抑制不住地欢快,这就叫做以其人之道,还治其人...
    爱写小说的胖达阅读 26,305评论 5 177
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 30,394评论 0 181
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 27,579评论 1 171
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 28,828评论 1 181
  • 白月光回国,霸总把我这个替身辞退。还一脸阴沉的警告我。[不要出现在思思面前, 不然我有一百种方法让你生不如死。]我...
    爱写小说的胖达阅读 23,091评论 0 25
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 25,715评论 2 166
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 29,626评论 3 175
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 24,565评论 0 4
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 24,547评论 0 114
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 30,877评论 2 192
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 31,244评论 2 189

推荐阅读更多精彩内容