Python使用RabbitMQ(AMQP)极简例子

本文主要演示Windows下的,CentOS也提一下安装。

简介

RabbitMQ是一个异步的消息队列服务器程序,基于AMQP协议实现。客户端Client逻辑上分为消息生产者Producer和消费者ConsumerProducer生产消息Message到服务器Server,排成消息队列QueueConsumer消费Message,一些细节策略都是可以控制的。

安装

Windows下安装

首先去RabbitMQ官网下载并安装服务器,不过这之前先去Erlang官网安装Erlang/OTP支持。本文选择了otp_win64_22.0.exerabbitmq-server-3.7.17.exe。安装完毕,可以直接从开始菜单启动服务,一个简单的消息服务器Node就启动了。

image.png

如图所示,开始菜单有很多链接,命令提示符、启动、关闭等。通过命令提示符下输入命令,可以进行很多操作,如查看状态:

rabbitmqctl.bat status

以及关机:

rabbitmqctl.bat stop

CentOS下安装

这个很烦人。官网绕来绕去真让人头大。它先说有两种方法可以安装RabbitMQ

  • 第一种,通过Yum安装(推荐)。这种方法又分两小种,一种使用PackageCloud,一种使用Bintray。先看第一小种,噩梦的开始,我就没见过比这还垃圾的安装说明,这个脚本那个指示的,绕来绕去的啥也没干成。再看第二小种,链接打开就很缓慢。算了,或者这就是大佬吧。这种简单的方法,我放弃!
  • 第二种,下载rpm安装包,但是需要手动安装一些支持包,比如erlangsocatlogrotate。先装erlang,一开始就懵逼了:
    image.png

    下面明明4个选项,为啥是3个?不管了,试试第一个。他先说风凉话:RabbitMQ团队搞了个包,只包含RabbitMQ需要的组件,如果按照Erlang依赖被证明比较困难,这可能是最简单的方式。行吧,点进去一个erlang的github,一点指示都没有,怎么简单了?我只看到一个命令yum install erlang,难道是它?(读者先别装!)这么简单,那让我点进来干什么?直接告诉我不就完了。不管了,装完了,erl测试没问题,应该是装上了吧,只不过版本是R16B03-1,版本很旧,这是后话。
[root@master ~]# erl
Erlang R16B03-1 (erts-5.10.4) [source] [64-bit] [smp:2:2] [async-threads:10] [hipe] [kernel-poll:false]

Eshell V5.10.4  (abort with ^G)
1> 
BREAK: (a)bort (c)ontinue (p)roc info (i)nfo (l)oaded
       (v)ersion (k)ill (D)b-tables (d)istribution

继续,到哪来着?还要装socat,简单。

yum -y install socat

还有logrotate,发现已经装了。

image.png

好了,所谓的手动依赖都装完了,该是下载安装rpm了,点击跳转到下载处,发现这个。
image.png

它说某些情况,下载安装包手动安装可能更简单。吐血三升!先推荐第一种,这会儿又说第二种可能还行,行了,所有的安装方法都比较简单,听你的。不管了,下载吧。

wget https://github.com/rabbitmq/rabbitmq-server/releases/download/v3.7.18/rabbitmq-server-3.7.18-1.el7.noarch.rpm

耐心下载完毕。结果安装失败,说erlang的版本不对。


image.png

奇怪,按照github的说明,应该默认就是最新版本的。没办法,于是去github的release里下载了一个版本:


image.png

继续安装:
yum -y install erlang-22.1-1.el7.x86_64.rpm

报错冲突,也算是意料之中。

image.png

搜了下,最方便的方法就是指定卸载老版本,必须特别精准,否则删不干净。至于怎么找到这个名称,我也没想出来,多组合试试吧。

yum remove erlang-erts-R16B-03.18.el7.x86_64

然后重新安装新版本。

yum -y install erlang-22.1-1.el7.x86_64.rpm

继续安装rabbitMQ:

yum -y install rabbitmq-server-3.7.18-1.el7.noarch.rpm

搞定!添加开机启动、启动、查看状态,素质三连。

systemctl enable rabbitmq-server.service
systemctl start rabbitmq-server.service
systemctl status rabbitmq-server.service

查看下当前用户:

[root@master ~]# rabbitmqctl list_users
Listing users ...
user    tags
guest   [administrator]

添加个用户,并设为管理员(添加标签即可)。

[root@master ~]# rabbitmqctl add_user admin admin
Adding user "admin" ...
[root@master ~]# rabbitmqctl set_user_tags admin administrator
Setting tags for user "admin" to [administrator] ...
[root@master ~]# rabbitmqctl list_users                       
Listing users ...
user    tags
admin   [administrator]
guest   [administrator]

配置vhost '/'下的权限,并查看权限:

rabbitmqctl set_permissions -p '/' admin '.*' '.*' '.*'
rabbitmqctl list_permissions

其实这些,都可以去后台管理配置。打开后台管理:

rabbitmq-plugins enable rabbitmq_management

然后就可以去ip:15672访问管理,记住把云服务的安全组规则配置好,如果有iptables这样的防火墙,也要把端口打开。

好了,CentOS就说这么多吧,总结就是:

  • 去github下载新版本的erlang,yum安装
  • 安装socat,logrotate
  • 下载RabbitMQ并安装。
    差评官网安装指南。

管理

在命令提示符下,启用管理插件:

rabbitmq-plugins enable rabbitmq_management

浏览器输入http://localhost:15672/即可访问后台管理页面,默认可以使用guest/guest登录(guest只能在localhost登录),这是管理员权限,建议删掉这个用户或者至少在管理页面改个密码。具体步骤是在Admin分页添加一个新的用户,输入信息,赋予admin权限标签,然后点击这个用户,在permission栏把访问虚拟主机/的权限给加上,然后就可以删除掉原先的guest了。

image.png

如下命令可查看用户列表及权限:

rabbitmqctl.bat list_users

试用

服务器可以只有一个节点Node(或叫代理Broker),也可以是集群,本文使用单节点。另外,服务器至少有一个虚拟主机Virtual Host,这是一个逻辑概念,可以添加Virtual Host用于不同后台用户的权限控制(待研究),本文仅使用/这一个Virtual Host,跟服务器概念基本等价。

image.png

Virtual Host下可以有多个交换机Exchange和消息队列Queue,每个Queue可以添加一个或多个Binding路由规则将其绑定到Exchange上。Binding根据ExchangeType,以及路由键Routing Key来决定消息从Exchange传到哪个Queue
image.png

概念有点多,试一下流程:

  • Exchanges分页新建交换机test_ex,类型Typedirect,意思是路由键必须完全相同,才会将消息转到符合规则的Queue。另外还有比如分发fanout类型,忽视路由键,只要绑定就转发到队列;主题topic模型,支持通配符(#、*)匹配路由键,很方便。可以使用如下命令查看交换机:
rabbitmqctl.bat list_exchanges
image.png
  • Queues分页新建一个队列test_queue,建完后点击该队列,继续添加一条binding规则,与test_ex以路由键test.msg绑定在一起。注意:建立交换机或队列的时候,都有个Durability选项,这个是选择是否持久化,也就是重启后还在不在,binding只能在持久化属性相同的通道和队列之间绑定。可以使用如下命令查看绑定规则:
rabbitmqctl.bat list_bindings
image.png

image.png
  • 回到Exchanges分页,点击test_exPublish message栏输入并发布一条消息Hello World!Deliver mode用来控制消息是否持久化,为了速度,一般不持久化消息。

    image.png

  • 回到Queues分页,点击test_queue,然后获取消息,成功!

    image.png

Python

首先安装pika模块:

pip install pika

写一个消息生产客户端producer.py,代码如下:

import pika

connection = pika.BlockingConnection(pika.ConnectionParameters(
    'localhost', 
    credentials=pika.credentials.PlainCredentials('admin', 'yourpassword'))) # 建立连接,默认是guest:guest可省略,由于之前guest被删掉了,所以必须给出参数
channel = connection.channel() # 初始化通道

channel.exchange_declare(
    'test_ex',
    durable=True) # 如果没有,则新建交换机;如果已有,则忽略,但参数要一致
channel.basic_publish(
    exchange='test_ex', 
    routing_key='test.msg',
    body='Hello World from Python!') # 发布消息,如果不指定交换机,就会使用默认交换机,不建议这样
    
channel.close() # 好像可以省略
connection.close()

这时已经可以再管理后台获取消息了,如图:
image.png

当然也可以写一个消息接收端consumer.py,代码如下:

import pika

connection = pika.BlockingConnection(pika.ConnectionParameters(
    'localhost', 
    credentials=pika.credentials.PlainCredentials('admin', 'admin'))) # 建立连接,默认是guest:guest可省略,由于之前guest被删掉了,所以必须给出参数
channel = connection.channel() # 初始化通道

# 以下可在管理后台操作
channel.exchange_declare(
    'test_ex',
    durable=True)
channel.queue_declare(
    'test_queue',
    durable=True)
channel.queue_bind(
    queue='test_queue',
    exchange='test_ex',
    routing_key='test.msg')

# 接受消息回调函数
def callback(ch, method, properties, body):
    print(f'Received {body}')

channel.basic_consume(queue='test_queue', on_message_callback=callback)
print('Consuming...')
channel.start_consuming()

确认消息

发现上述代码在收到消息后,并不会删除消息,类似管理后台的requeue true,也就是消息在接收后,又原路放回去了。

image.png

注意,requeue的消息在下次被接受,会有一个redelivered标志位值为真,在管理后台也能看出来:
image.png

那怎么在接受消息就删除呢?修改参数auto_ack即可:

channel.basic_consume(
    queue='test_queue', 
    on_message_callback=callback, 
    auto_ack=True)

还使用basic_get()主动获取排在第一的消息,并自动或手动发送ack确认消息收到。

# 有消息就返回(method, properties, body),否则(None, None, None)
# 自动发送ack
msg = channel.basic_get('test_queue', True) 
# 手动发送ack,从msg的method获取delivery_tag
msg = channel.basic_get('test_queue') 
channel.basic_ack(msg[0].delivery_tag)

另外,可以通过设置服务质量QoS来防止接收端积压消息,代码如下:

channel.basic_qos(prefetch_count=1)
channel.basic_consume(
    queue='test_queue', 
    on_message_callback=callback)

这样,客户端每次只预取1个消息,如果不发送ack,服务端是不会继续派发消息的。


够用了。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 157,298评论 4 360
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 66,701评论 1 290
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 107,078评论 0 237
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 43,687评论 0 202
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 52,018评论 3 286
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 40,410评论 1 211
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 31,729评论 2 310
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 30,412评论 0 194
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 34,124评论 1 239
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 30,379评论 2 242
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 31,903评论 1 257
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 28,268评论 2 251
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 32,894评论 3 233
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 26,014评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,770评论 0 192
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 35,435评论 2 269
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 35,312评论 2 260

推荐阅读更多精彩内容