Rocket MQ 安装使用

Rocket MQ 介绍:

1.要知道RocketMQ原生就是支持分布式的,而ActiveMQ原生存在单点性。

2.RocketMQ可以保证严格的消息顺序,而ActiveMQ无法保证!

3.RocketMQ提供亿级消息的堆积能力,这不是重点,重点是堆积了亿级的消息后,依然保持写入低延迟!

4.丰富的消息拉取模式(Push or Pull)

Push好理解,比如在消费者端设置Listener回调;而Pull,控制权在于应用,即应用需要主动的调用拉消息方法从Broker获取消息,这里面存在一个消费位置记录的问题(如果不记录,会导致消息重复消费)。

5.在Metaq1.x/2.x的版本中,分布式协调采用的是Zookeeper,而RocketMQ自己实现了一个NameServer,更加轻量级,性能更好!

6.消息失败重试机制、高效的订阅者水平扩展能力、强大的API、事务机制等等(后续详细介绍)

安装模式

RocketMQ的Broker集群部署模式还挺多的,比如单Master模式、多Master模式、多Master多Slave模式(异步复制)、多Master多Slave模式(同步双写)等。明确个概念,RocketMQ Slave不可以写,可以读,类似于MySQL的主从机制。

配置的目录说明:

2m-noslave: 多Master模式

2m-2s-sync: 多Master多Slave模式,同步双写

2m-2s-async:多Master多Slave模式,异步复制

单Master模式:

无需多言,一旦单个broker重启或宕机,一切都结束了!很显然,线上不可以使用。

多Master模式:

全是Master,没有Slave。当然,一个broker宕机了,应用是无影响的,缺点在于宕机的Master上未被消费的消息在Master没有恢复之前不可以订阅。

多Master多Slave模式(异步复制):

多对Master-Slave,高可用!采用异步复制的方式,主备之间短暂延迟,MS级别。Master宕机,消费者可以从Slave上进行消费,不受影响,但是Master的宕机,会导致丢失掉极少量的消息。

多Master多Slave模式(同步双写):

和上面的区别点在于采用的是同步方式,也就是在Master/Slave都写成功的前提下,向应用返回成功,可见不论是数据,还是服务都没有单点,都非常可靠!缺点在于同步的性能比异步稍低。

环境:

centos6.8

jdk1.7

Rocket MQ 3.26.tar

所有解压步骤省略

1.指定jdk和MQ变量

vim /etc/profile

export JAVA_HOME=/usr/lib/java/jdk1.7.0_80

export PATH=$JAVA_HOME/bin:$PATHexport CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

export ROCKETMQ_HOME=/aebiz/soft/alibaba-rocketmq

export PATH=$JAVA_HOME/bin:$ROCKETMQ_HOME/bin:$PATH

source /etc/profile

2.添加hosts主机信息

vim /etc/hosts

192.168.3.244 rocketmq-nameserver1

192.168.3.244 rocketmq-master1

192.168.3.241 rocketmq-nameserver2

192.168.3.241 rocketmq-master2

ping rocketmq-nameserver1

ping rocketmq-nameserver2

3.解压完创建软连接

ln -s alibaba-rocketmq rocketmq

创建存储路径

mkdir rocketmq/data

mkdir rocketmq/data/commitlog

mkdir rocketmq/data/consumerqueue

mkdir rocketmq/data/index

4.修改配置文件,有两个master主节点,所以主节点1启动依赖broker-a.properties,主节点2启动依赖broker-b.properties,如果是三个Master,那么还会有一个broker-c.properties,以此类推。 

vim  rocketmq/conf/2m-noslave/broker-a.properties 

##另一台修改broker-b. properties 

#所属集群名字

brokerClusterName=rocketmq-cluster

#broker名字,注意此处不同的配置文件填写的不一样

brokerName=broker-a|broker-b

#0 表示 Master, >0 表示 Slave

brokerId=0

#nameServer地址,分号分割

namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876

#在发送消息时,自动创建服务器不存在的topic,默认创建的队列数

defaultTopicQueueNums=4

#是否允许 Broker 自动创建Topic,建议线下开启,线上关闭

autoCreateTopicEnable=true

#是否允许 Broker 自动创建订阅组,建议线下开启,线上关闭

autoCreateSubscriptionGroup=true

#Broker 对外服务的监听端口

listenPort=10911

#删除文件时间点,默认凌晨 0点

deleteWhen=00

#文件保留时间,默认 48 小时

fileReservedTime=120

#commitLog每个文件的大小默认1G

mapedFileSizeCommitLog=1073741824

#ConsumeQueue每个文件默认存30W条,根据业务情况调整

mapedFileSizeConsumeQueue=300000

#destroyMapedFileIntervalForcibly=120000

#redeleteHangedFileInterval=120000

#检测物理文件磁盘空间

diskMaxUsedSpaceRatio=88

#存储路径

storePathRootDir=/opt/rocketmq/data

#commitLog 存储路径

storePathCommitLog=/opt/rocketmq/data/commitlog

#消费队列存储路径存储路径

storePathConsumeQueue=/opt/rocketmq/data/consumequeue

#消息索引存储路径

storePathIndex=/opt/rocketmq/data/index

#checkpoint 文件存储路径

storeCheckpoint=/opt/rocketmq/data/checkpoint

#abort 文件存储路径

abortFile=/opt/rocketmq/data/abort

#限制的消息大小

maxMessageSize=65536

#flushCommitLogLeastPages=4

#flushConsumeQueueLeastPages=2

#flushCommitLogThoroughInterval=10000

#flushConsumeQueueThoroughInterval=60000

#Broker 的角色

#- ASYNC_MASTER 异步复制Master

#- SYNC_MASTER 同步双写Master

#- SLAVE

brokerRole=ASYNC_MASTER

#刷盘方式

#- ASYNC_FLUSH 异步刷盘

#- SYNC_FLUSH 同步刷盘

flushDiskType=ASYNC_FLUSH

#checkTransactionMessageEnable=false

#发消息线程池数量

#sendMessageThreadPoolNums=128

#拉消息线程池数量

#pullMessageThreadPoolNums=128

5.修改日志配置文件

在创建的软连接文件夹rocketmq下创建一个logs目录

mkdir /opt/rocketmq/logs

cd /opt/rocketmq/conf

sed -i 's#${user.home}#/opt/rocketmq#g' *.xml 进行日志文件的替换

6.修改启动脚本参数(JVM参数的调优)

因为我们之前将nameServer和broker放在了同一台机器上,所以需要分别对nameServer和broker进行jvm的性能调优。生产环境默认即可不要修改。

1)broker的调优

vi /opt/rocketmq/bin/runbroker.sh

JAVA_OPT="${JAVA_OPT} -server -Xms1g -Xmx1g -Xmn512m - XX:PermSize=128m -XX:MaxPermSize=320m"

2)nameserver的调优

vi /opt/rocketmq/bin/runserver.sh

JAVA_OPT="${JAVA_OPT} -server -Xms1g -Xmx1g -Xmn512m - XX:PermSize=128m -XX:MaxPermSize=320m"

7.启动两台机器的NameServer:先启动两台机器的NameServer,再启动两台机器的Borker,关机的时候顺序相反,先关闭两台机器的Broker,再关闭两台机器的Nameserver。

nohup sh mqnamesrv &

mqadnin是管理员命令,mqfiltersrv是rocketmq的单独组件,mqnamesrv是NameServer,mqbroker是Broker。

jps 查看进程

# tail -f -n 500 /opt/rocketmq/logs/rocketmqlogs/broker.log

# tail -f -n 500 /opt/rocketmq/logs/rocketmqlogs/namesrv.log

8.启动两台机器的borker

##启动BrokerServer A 

nohup sh mqbroker -c /opt/rocketmq/conf/2m-noslave/broker-a.properties >/dev/null 2>&1 &

jps

15021 BrokerStartup

16339 Jps

29527 jar

14983 NamesrvStartup

##查看日志输出

tail -f -n 500 /usr/local/rocketmq/logs/rocketmqlogs/broker.log

tail -f -n 500 /usr/local/rocketmq/logs/rocketmqlogs/namesrv.log

##启动BrokerServer B 

nohup sh mqbroker -c /opt/rocketmq/conf/2m-noslave/broker-b.properties >/dev/null 2>&1 &

##查看后台java程序

    jps

15021 BrokerStartup

16339 Jps29527 jar

14983 NamesrvStartup

##查看日志输出

tail -f -n 500 /usr/local/rocketmq/logs/rocketmqlogs/broker.log

tail -f -n 500 /usr/local/rocketmq/logs/rocketmqlogs/namesrv.log

成功

9.收发消息测试

环境变量

export NAMESRV_ADDR=192.168.3.244:9876;

##启动生产者

sh tools.sh com.alibaba.rocketmq.example.simple.Producer

##启动消费者

sh tools.sh com.alibaba.rocketmq.example.simple.PushConsumer

生产者
消费者

参考博客

https://www.cnblogs.com/wrong5566/p/6078592.html

https://www.jianshu.com/p/3afd610a8f7d?from=jiantop.com

推荐阅读更多精彩内容