Ubuntu16.04搭建rabbitmq集群

1、RabbitMQ介绍

1.1、什么是RabbitMQ?

RabbitMQ 是由 LShift 提供的一个 Advanced Message Queuing Protocol (AMQP) 的开源实现,由以高性能、健壮以及可伸缩性出名的 Erlang 写成,因此也是继承了这些优点。

1.2、什么是AMQP?

AMQP,即Advanced Message Queuing Protocol,高级消息队列协议,是应用层协议的一个开放标准,为面向消息的中间件设计。它从生产者接收消息并递送给消费者,在这个过程中,根据规则进行路由,缓存与持久化。

AMQP的主要特征是面向消息、队列、路由(包括点对点和发布/订阅)、可靠性、安全。

RabbitMQ是一个开源的AMQP实现,服务器端用Erlang语言编写,支持多种客户端,如:Python、Ruby、.NET、Java、JMS、C、PHP、ActionScript、XMPP、STOMP等,支持AJAX。用于在分布式系统中存储转发消息,在易用性、扩展性、高可用性等方面表现不俗。

1.3、RabbitMQ的基础概念

  • Broker:简单来说就是消息队列服务器实体
  • Exchange:消息交换机,它指定消息按什么规则,路由到哪个队列
  • Queue:消息队列载体,每个消息都会被投入到一个或多个队列
  • Binding:绑定,它的作用就是把exchange和queue按照路由规则绑定起来
  • Routing Key:路由关键字,exchange根据这个关键字进行消息投递
  • vhost:虚拟主机,一个broker里可以开设多个vhost,用作不同用户的权限分离
  • producer:消息生产者,就是投递消息的程序
  • consumer:消息消费者,就是接受消息的程序
  • channel:消息通道,在客户端的每个连接里,可建立多个channel,每个channel代表一个会话任务

1.4、RabbitMQ的特性

  • 可靠性:包括消息持久化,消费者和生产者的消息确认
  • 灵活路由:遵循AMQP协议,支持多种Exchange类型实现不同路由策略
  • 分布式:集群的支持,包括本地网络与远程网络
  • 高可用性:支持主从备份与镜像队列
  • 多语言支持:支持多语言的客户端
  • WEB界面管理:可以管理用户权限,exhange,queue,binding,与实时监控
  • 访问控制:基于vhosts实现访问控制
  • 调试追踪:支持tracing,方便调试

2、RabbitMQ安装

2.1、环境:两台Ubuntu16.04主机
10.27.0.53 rabbitmq-1
10.27.0.130 rabbitmq-2

root@rabbitmq-1:/usr/sbin# cat /etc/hosts
10.27.0.53 rabbitmq-1
10.27.0.130 rabbitmq-2

root@rabbitmq-2:/usr/sbin# cat /etc/hosts
10.27.0.53 rabbitmq-1
10.27.0.130 rabbitmq-2

必须保证各个主机名之间可以ping通
2.2、安装Erlang

root@rabbitmq-1:~# apt-get update
root@rabbitmq-1:~# apt-get install -y erlang-nox erlang-dev erlang-src

2.3、安装rabbitmq

root@rabbitmq-1:~# echo 'deb http://www.rabbitmq.com/debian/ testing main' |  tee /etc/apt/sources.list.d/rabbitmq.list
deb http://www.rabbitmq.com/debian/ testing main

root@rabbitmq-1:~# wget -O- https://www.rabbitmq.com/rabbitmq-release-signing-key.asc | apt-key add -
--2018-12-13 01:36:08--  https://www.rabbitmq.com/rabbitmq-release-signing-key.asc
Resolving www.rabbitmq.com (www.rabbitmq.com)... 104.20.63.197, 104.20.62.197, 2606:4700:10::6814:3ec5, ...
Connecting to www.rabbitmq.com (www.rabbitmq.com)|104.20.63.197|:443... connected.
HTTP request sent, awaiting response... 200 OK
Length: unspecified [text/plain]
Saving to: ‘STDOUT’
-                                       [ <=>                                                                ]   3.11K  --.-KB/s    in 0s      
2018-12-13 01:36:09 (53.9 MB/s) - written to stdout [3187]

OK

root@rabbitmq-1:~# apt-get install rabbitmq-server

2.4、安装完成后,验证一下服务是否正常

root@rabbitmq-1:~# service rabbitmq-server start

root@rabbitmq-1:~# service rabbitmq-server status

● rabbitmq-server.service - RabbitMQ broker
 Loaded: loaded (/lib/systemd/system/rabbitmq-server.service; enabled; vendor preset: enabled)
 Active: active (running) since Thu 2018-12-13 01:39:09 UTC; 1min 11s ago
 Main PID: 11471 (beam.smp)
 Status: "Initialized"
 CGroup: /system.slice/rabbitmq-server.service
 ├─11471 /usr/lib/erlang/erts-7.3/bin/beam.smp -W w -A 64 -P 1048576 -t 5000000 -stbt db -zdbbl 128000 -K true -- -root /usr/lib/erlan
 ├─11551 /usr/lib/erlang/erts-7.3/bin/epmd -daemon
 ├─11678 inet_gethost 4
 └─11679 inet_gethost 4

搭建好的rabbitmq默认是没有配置文件的,需要我们来手动添加

root@rabbitmq-1:~# vim /etc/rabbitmq/rabbitmq.config

[{rabbit, [{loopback_users, []}]}].
  • 这里的意思是开放使用。rabbitmq默认创建的用户guest,密码也是guest,这个用户默认只能是本机访问。需要添加上面的配置才能从外部访问。

Rabbitmq的一些运行脚本存放在 /usr/sbin 下面

root@rabbitmq-1:/usr/sbin# ll rabbit*
-rwxr-xr-x 1 root root 1883 Jan 17 2018 rabbitmqctl*
-rwxr-xr-x 1 root root 1883 Jan 17 2018 rabbitmq-plugins*
-rwxr-xr-x 1 root root 1883 Jan 17 2018 rabbitmq-server*

2.5、开启web管理插件

2.5.1、创建一个用户nova,并设置密码为123456

root@rabbitmq-1:/usr/sbin# ./rabbitmqctl add_user nova 123456

Creating user "nova"

2.5.2、查看现有用户表

root@rabbitmq-1:/usr/sbin# ./rabbitmqctl list_users
Listing users
rabbit []
guest [administrator] //默认管理员
nova []

这个时候nova用户是不能访问web管理插件的,需要配置用户角色,用户角色可分为五类,超级管理员, 监控者, 策略制定者, 普通管理者以及其他。

  • 超级管理员(administrator)

可登陆管理控制台(启用management plugin的情况下),可查看所有的信息,并且可以对用户,策略(policy)进行操作。

  • 监控者(monitoring)

可登陆管理控制台(启用management plugin的情况下),同时可以查看rabbitmq节点的相关信息(进程数,内存使用情况,磁盘使用情况等)

  • 策略制定者(policymaker)

可登陆管理控制台(启用management plugin的情况下), 同时可以对policy进行管理。但无法查看节点的相关信息。

  • 普通管理者(management)

仅可登陆管理控制台(启用management plugin的情况下),无法看到节点信息,也无法对策略进行管理。

  • 其他

无法登陆管理控制台,通常就是普通的生产者和消费者。

将nova添加到administrator用户组

root@rabbitmq-1:/usr/sbin# ./rabbitmqctl set_user_tags nova administrator
Setting tags for user "nova" to [administrator]

此时的nova用户只能通过本地来登录其他的IP无法直接使用这个账号。所以需要对他进行授权,使用户nova /(可以访问虚拟主机) 中所有资源的配置、写、读权限以便管理其中的资源

root@rabbitmq-1:/usr/sbin# ./rabbitmqctl set_permissions -p "/" nova ".*" ".*" ".*"
Setting permissions for user "nova" in vhost "/"

查看用户授权

root@rabbitmq-1:/usr/sbin# ./rabbitmqctl list_permissions -p /
Listing permissions in vhost "/"
nova .* .* .*
guest .* .* .*

2.5.3、开启web管理插件并重启rabbitmq服务

root@rabbitmq-1:/usr/sbin# ./rabbitmq-plugins enable rabbitmq_management
The following plugins have been enabled:
 amqp_client
 cowlib
 cowboy
 rabbitmq_web_dispatch
 rabbitmq_management_agent
 rabbitmq_management
Applying plugin configuration to rabbit@rabbitmq-1... started 6 plugins.

root@rabbitmq-1:/usr/sbin# service rabbitmq-server restart

以下为关闭插件命令

root@rabbitmq-1:/usr/sbin# ./rabbitmq-plugins disable rabbitmq_management

通过浏览器访问 [http://10.27.0.53:15672]输入用户名nova 密码123456就可以看到后台了


111.png

3、配置集群

3.1、从管理界面可以看到,此时只有一个节点rabbitmq-1,我们需要把rabbitmq-2加进来,rabbitmq-2按照步骤2进行一系列安装就可以。此处不再细说。


222.png

3.2、添加节点
两台主机上安装的 RabbitMQ 都保证都可以正常启动,才可以进行以下操作
3.2.1、设置不同节点间统一认证的Erlang Cookie
这里将 rabbitmq-1 的该文件复制到 rabbitmq-2由于这个文件权限是 400为方便传输,先修改权限,非必须操作,所以需要先修改rabbitmq-2中的该文件权限为 777

root@rabbitmq-2:~# chmod 777 /var/lib/rabbitmq/.erlang.cookie

然后将rabbitmq-1中的该文件拷贝的rabbitmq-2中

root@rabbitmq-1:/var/lib/rabbitmq# scp /var/lib/rabbitmq/.erlang.cookie rabbitmq-2:/var/lib/rabbitmq/

最后将权限和所属用户/组修改回来

root@rabbitmq-2:~# chmod 400 /var/lib/rabbitmq/.erlang.cookie
root@rabbitmq-2:~# chown rabbitmq /var/lib/rabbitmq/.erlang.cookie
root@rabbitmq-2:~# chgrp rabbitmq /var/lib/rabbitmq/.erlang.cookie
root@rabbitmq-2:~# ll /var/lib/rabbitmq/.erlang.cookie
-r-------- 1 rabbitmq rabbitmq 20 Dec 13 05:37 /var/lib/rabbitmq/.erlang.cookie

此时rabbitmq-2节点需要重启一下服务

root@rabbitmq-2:/usr/sbin# service rabbitmq-server restart

注意事项
cookie在所有节点上必须完全一样,同步时一定要注意。
erlang是通过主机名来连接服务,必须保证各个主机名之间可以ping通。可以通过编辑/etc/hosts来手工添加主机名和IP对应关系。如果主机名ping不通,rabbitmq服务启动会失败。

3.2.2、通过rabbitmqctl cluster_status命令,可以查看和个节点的状态,节点的名称是rabbit@shorthostname,
rabbitmq-1

root@rabbitmq-1:/usr/sbin# ./rabbitmqctl cluster_status
Cluster status of node 'rabbit@rabbitmq-1'
[{nodes,[{disc,['rabbit@rabbitmq-1']}]},
 {running_nodes,['rabbit@rabbitmq-1']},
 {cluster_name,<<"rabbit@rabbitmq-1">>},
 {partitions,[]},
 {alarms,[{'rabbit@rabbitmq-1',[]}]}]

rabbitmq-2

root@rabbitmq-2:/usr/sbin# ./rabbitmqctl cluster_status
Cluster status of node 'rabbit@rabbitmq-2'
[{nodes,[{disc,['rabbit@rabbitmq-2']}]},
 {running_nodes,['rabbit@rabbitmq-2']},
 {cluster_name,<<"rabbit@rabbitmq-2">>},
 {partitions,[]},
 {alarms,[{'rabbit@rabbitmq-2',[]}]}]

3.2.3
将两个节点组成集群
因为rabbitmq-server启动时,会一起启动节点和应用,它预先设置RabbitMQ应用为standalone模式。要将一个节点加入到现有的集群中,你需要停止这个应用并将节点设置为原始状态,然后就为加入集群准备好了。使用rabbitmqctl stop_app仅仅关闭应用。

root@rabbitmq-2:/usr/sbin# ./rabbitmqctl stop_app
Stopping rabbit application on node 'rabbit@rabbitmq-2'

将2加入1中

root@rabbitmq-2:/usr/sbin# ./rabbitmqctl join_cluster rabbit@rabbitmq-1
Clustering node 'rabbit@rabbitmq-2' with 'rabbit@rabbitmq-1'

启动节点2的应用

root@rabbitmq-2:/usr/sbin# ./rabbitmqctl start_app
Starting node 'rabbit@rabbitmq-2'

如果要使用内存节点,则可以使用以下命令:其中–ram指的是作为内存节点,要是想做为磁盘节点的话,就不用加–ram这个参数了

root@rabbitmq-2:/usr/sbin# ./rabbitmqctl join_cluster --ram rabbit@ rabbitmq-1

集群配置好后,可以在 RabbitMQ 任意节点上执行 rabbitmqctl cluster_status 来查看是否集群配置成功。
Rabbitmq-1

root@rabbitmq-1:/usr/sbin# ./rabbitmqctl cluster_status
Cluster status of node 'rabbit@rabbitmq-1'
[{nodes,[{disc,['rabbit@rabbitmq-1','rabbit@rabbitmq-2']}]},
 {running_nodes,['rabbit@rabbitmq-2','rabbit@rabbitmq-1']},
 {cluster_name,<<"rabbit@rabbitmq-1">>},
 {partitions,[]},
 {alarms,[{'rabbit@rabbitmq-2',[]},{'rabbit@rabbitmq-1',[]}]}]

Rabbitmq-2

root@rabbitmq-2:/usr/sbin# ./rabbitmqctl cluster_status
Cluster status of node 'rabbit@rabbitmq-2'
[{nodes,[{disc,['rabbit@rabbitmq-1','rabbit@rabbitmq-2']}]},
 {running_nodes,['rabbit@rabbitmq-1','rabbit@rabbitmq-2']},
 {cluster_name,<<"rabbit@rabbitmq-1">>},
 {partitions,[]},
 {alarms,[{'rabbit@rabbitmq-1',[]},{'rabbit@rabbitmq-2',[]}]}]

同时在Web管理工具中也可以看到效果


333.png

4、设置镜像队列策略

上面配置RabbitMQ默认集群模式,但并不保证队列的高可用性,尽管交换机、绑定这些可以复制到集群里的任何一个节点,但是队列内容不会复制,虽然该模式解决一部分节点压力,但队列节点宕机直接导致该队列无法使用,只能等待重启,所以要想在队列节点宕机或故障也能正常使用,就要复制队列内容到集群里的每个节点,需要创建镜像队列。

镜像队列概念:镜像队列可以同步queue和message,当主queue挂掉,从queue中会有一个变为主queue来接替工作。镜像队列是基于普通的集群模式的,所以你还是得先配置普通集群,然后才能设置镜像队列。镜像队列设置后,会分一个主节点和多个从节点,如果主节点宕机,从节点会有一个选为主节点,原先的主节点起来后会变为从节点。queue和message虽然会存在所有镜像队列中,但客户端读取时不论物理面连接的主节点还是从节点,都是从主节点读取数据,然后主节点再将queue和message的状态同步给从节点,因此多个客户端连接不同的镜像队列不会产生同一message被多次接受的情况。

设置镜像队列策略
在普通集群的中任意节点启用策略,策略会自动同步到集群节点
命令格式

set_policy [-p vhostpath] {name} {pattern} {definition} [priority]

在任意一个节点上执行

root@rabbitmq-1:/usr/sbin# ./rabbitmqctl set_policy -p / ha-allqueue "^message" '{"ha-mode":"all"}'
Setting policy "ha-allqueue" for pattern "^message" to "{\"ha-mode\":\"all\"}" with priority "0"

集群重启
集群重启时,最后一个挂掉的节点应该第一个重启,如果因特殊原因(比如同时断电),而不知道哪个节点最后一个挂掉。可用以下方法重启:
先在一个节点上执行

$ ./rabbitmqctl force_boot
$ service rabbitmq-server start

在其他节点上执行

$ ./service rabbitmq-server start

查看cluster状态是否正常(要在所有节点上查询)。

$ ./rabbitmqctl cluster_status

5、操作授权

添加用户
处于安全的考虑,guest这个默认的用户只能通过http://localhost:15672 来登录,其他的IP无法直接使用这个账号。所以我们需要添加一个其他用户。
命令格式

./rabbitmqctl add_user <username> <newpassword>
$ ./rabbitmqctl add_user nova 123456
Creating user "nova"

删除用户
命令格式

./rabbitmqctl delete_user <username>
$ ./rabbitmqctl  delete_user penglei
Deleting user "penglei"

修改密码
命令格式

./rabbitmqctl change_password <username> <newpassword>
$ ./rabbitmqctl  change_password  nova 123456
Changing password for user "nova"

用户授权
命令格式

./rabbitmqctl set_permissions [-pvhostpath] {user} {conf} {write} {read}

该命令使用户nova /(可以访问虚拟主机) 中所有资源的配置、写、读权限以便管理其中的资源

$ ./rabbitmqctl set_permissions -p "/"nova ".*" ".*" ".*"
Setting permissions for user "nova" in vhost "/"

查看用户授权
命令格式

./rabbitmqctl list_permissions [-p VHostPath]
$./ rabbitmqctl list_permissions -p /
Listing permissions in vhost "/"
guest    .*    .*    .*
nova    .*    .*    .*

查看当前用户列表
可以看到添加用户成功了,但不是administrator角色

$ ./rabbitmqctl list_users
Listing users
guest    [administrator]
nova    

添加角色
这里我们也将nova用户设置为administrator角色
命令格式

./rabbitmqctl set_user_tags <username> <tag>
$ ./rabbitmqctl set_user_tags nova administrator
Setting tags for user "nova" to [administrator]

再次查看权限

$ ./rabbitmqctl list_users
Listing users
guest    [administrator]
nova    [administrator]

清除权限信息
命令格式

./rabbitmqctl clear_permissions [-p VHostPath] nova
$./rabbitmqctl  clear_permissions  -p /  nova
Clearing permissions for user "nova" in vhost "/"

下一篇为测试文章https://www.jianshu.com/p/f4153f72e4c1