消息队列Qpid入门

本文将介绍一些使用Qpid需要了解的基础概念,不涉及Qpid的性能、安全、高可用、API等。包含的内容如下:

  • Qpid的定义
  • Broker
  • 安装与启动
  • Web管理界面
  • Qpid的几个组成部分的概念
  • 介绍Broker内的Exchange与Queue
  • 参考资料

QPID是一种实现AMQP协议的消息队列

AMQP是一种用于业务消息的开放网络协议。他定义了一种允许双方进行可靠业务消息传递的二进制线级协议。该协议的目标是成为所有消息中间件之间进行互操作的标准协议。
消息队列是一种进程间通信线程或同一进程的不同线程间的通信方式。
Qpid则是由Apache开发的一种消息队列,实现了AMQP协议,并且支持多种语言与多种平台。

Qpid采用Broker架构

Qpid提供了一个服务端(即Broker),我们自己实现的各个单独的业务模块进行通讯时,发送的消息需要先经过Broker。Qpid实现了两种Broker,一种采用Java语言实现,一种采用C++语言实现,两者实现的特性是不同的,如Java版的Broker支持的AMQP版本为 0-10,0-9-1,0-9,0-8和1.0,而C++版的Broker仅支持1.0和0-10版本的AMQP,具体的差别需要查看官方文档,本文仅仅针对Java版的Broker进行说明演示

Broker的安装与启动

此处以运行在Windows系统下的Java版Broker为例,Linux版的可参考官方文档

下载

在该页面内下载Brokerhttps://qpid.apache.org/download.html

安装

解压下载的Broker安装包即可

设置工作目录

在Windows系统内设置系统变量 QPID_WORK

setx QPID_WORK Broker的安装目录/work /m

在工作目录中,默认存储着需要持久化的消息和Broker的日志文件,还包括一些配置文件。

执行启动脚本,启动Broker

在bin目录内执行qpid-server.bat脚本,即可启动Broker。

启动成功,界面上打印**[Broker] BRK-1004 : Qpid Broker Ready**

Web管理界面

Qpid一般可以通过Web界面、REST API等方式进行管理,下面主要介绍Web管理界面。
Qpid提供了一个Web管理界面,提供了添加Exchange、Queue以及将Queue绑定到Exchange上等功能。Qpid大多数的管理操作都可以在这个Web管理界面完成。
管理界面的端口默认为8080。在Broker所在的操作系统内打开浏览器,输入网址localhost:8080即可打开管理界面的登录页面。使用用户名admin,密码admin,即可登录。

web管理界面

在管理界面的左边有一颗树,树的根为Broker,其子节点分别为brokerloggersvirtualhostnodesportsauthenticationprovidersplugins。每个节点及其下子节点等都可以尝试双击下,如果可以在界面右边打开一个标签页,那么就可以针对这个节点进行一些设置。

brokerloggers

Qpid可以有多个logger,用于配置Qpid的日志打印。Qpid提供了多种类型的logger供用户使用。默认情况下则提供了名字为memory和名字为logfile的两个logger。memory的类型为Memory。Memory类型的logger默认在内存中保存最近的4096条日志事件,用户可以通过web管理界面查看保存的日志。logfile的类型为File。File类型的logger会将日志写入到磁盘文件中,用户可以配置日志文件的路径、名称、打印日志的样式、打印的日志级别、如何进行rolling等。如果对log4j等日志框架的使用,那么对于File类型的logger应该不会太陌生,这里不再敖述。关于日志的更多信息可参考这里

virtualhostnodes

virtualhostnodes节点内可以有多个virtualhostnode,每个virtualhostnode只有一个virtualhost,而virtualhost内有多个exchange与queue;virtualhostnode与virtualhost各自多种类型,基本与其使用的存储和HA有关,如Derby,BDB类型等。
默认情况下,qpid创建了一个名字为default的virtualhostnode和一个名字为default的virtualhost。名字为default的virtualhostnode的类型为JSON,名字为default的virtualhost类型是DERBY。

ports

Qpid的port与平常理解的端口不同,这里定义的是使用协议进行消息传输和管理Qpid。Qpid默认提供了名字为HTTP和名字为AMQP的port,名字为HTTP的port的类型是HTTP,名字为AMQP的port类型是AMQP。Qpid通过HTTP类型的port进行Qpid的管理,如添加删除queue,通过AMQP类型的port进行消息的传输。从名字可以看出,HTTP类型的port使用的是http协议,AMQP类型的port使用的是amqp协议。

名字 port类型 协议 作用 Authentication Provider
HTTP HTTP http 用于通过http协议管理Qpid passwordFile
AMQP AMQP amqp 用于通过amqp协议传输消息 passwordFile

authenticationproviders

Authentication Provider用于port进行连接的认证。Qpid默认提供一个名字为passwordFile的Authentication Provider,类型为PlainPasswordFilePlainPasswordFile根据本地文件中纯文本中存储的用户账号密码验证用户,该文本文件的格式为:

用户名:密码

passwordFile设置了该文本文件为Qpid安装目录下的文件夹etc下的passwd文件,内容为

guest:guest
client:guest
server:guest
admin:admin

webadmin:webadmin

每个port只能设置一个Authentication Provider。Qpid提供的两个port(HTTP和AMQP)默认都使用了passwordFile。所以我们在登录Web管理界面和进行消息传输时,可以使用guest、clent、server、admin、webadmin进行登录,其密码分别对应为guest、guest、guest、admin、webadmin。
Qpid提供的Authentication Provider的类型包括:AnonymousExternalKerberosSimpleLDAPOAuth2ScramShaPlainPlainPasswordFileMD5Base64MD5PasswordFile
其中Anonymous是最简单的,它的作用是不对连接做任何认证。如果把Qpid的HTTP(port)的Authentication Provider设置为Anonymous类型,那么我们无需经过登录页面输入用户密码即可进入管理页面。

plugins

该节点下默认有两个插件,httpManagement和jmxManagement。
MANAGEMENT-HTTP类型的httpManagement,现在使用的Web管理界面以及REST API由httpManagement这个插件提供。jmxManagement与jmx相关,最新版的文档没有找到这方面的信息,6.4. JMX Management这是一份旧的文档,有需要可以参考。

Broker的Exchange、Queue

Exchange和Queue是Broker的两个重要部分。Exchange用于接收消息发送者的消息,并根据其自身的路由算法、绑定表、消息中的一些属性,将消息路由到对应的Queue中;Queue用于存储消息,消息消费者需通过Queue获取消息。各个Queue与各个Exchange通过绑定表进行绑定,Exchange的绑定表的内容包括Queue、Binding key、Arguments。当消息到达Exchange时,在不考虑Arguments的情况下,如果Binding key会与消息中的Routing key(Routing key实际指消息中属性qpid.subject的值)匹配成功,则消息会发给绑定表内对应的Queue。

Exchange的类型:Direct,Topic,Fanout,Headers

Broker提供了4种类型的Exchange,不同类型的Exchange,实现的路由算法不同。初始启动Broker服务器时,Qpid会预先在Broker中创建4个Exchange,名字分别为

  • amq.direct (类型为direct)
  • amq.topic (类型为topic)
  • amq.fanout (类型为fanout)
  • amq.match (类型为headers)

以下讨论的Topic、Direct、Fanout不考虑绑定表中的Arguments对消息的影响。Topic、Direct、Fanout都支持Arguments中的JMS message selector,具体使用方法可参考 binding argument specifying a JMS message selectorHow to use Message Selectors to filter messagesHeaders不支持JMS message selector。

Topic

一般用于发布/订阅模式的消息模式。
该类型Exchange的绑定表的binding key支持精确匹配和通配符匹配,其中 * 代表一个单词, # 代表零个或者多个单词,单词与单词之间以 . 分隔。

Topic的精确匹配
Exchange-Topic(来源qpid.apache.org)

消息生产者将消息发送到amq.topic,消息的routing_key与绑定表的binding_key都相等,则将消息路由至队列sub1、sub2、sub3。

Topic的通配符匹配
Exchange-Topic-Hierarchical(来源qpid.apache.org)

红色消息的routing_key为news.uk,即两个单词news和uk。查看绑定表,第一个binding_key匹配news和零个或者多个单词,匹配成功,消息会发送至队列sub1;第二个binding_key匹配news和uk,匹配成功,消息会发送至队列sub2;第三个binding_key匹配一个单词加uk,匹配成功,消息会发送至队列sub3。绿色消息只匹配了第一个binding_key,会发送至sub1。蓝色队列匹配第三个binding_key,会发送至sub3。黄色队列没有匹配成功,此时qpid的处理方式会根据协议版本和设置的不同有所不同,一般是直接丢弃消息。

Direct

一般用于点对点的模式。与Topic不同的是Direct类型的Exchange的绑定表的binding key只支持精确匹配。


Exchange-Direct(来源qpid.apache.org)

如图所示,黄色消息的routing_key的值与绑定表中第一条记录的binding_key相等,则黄色消息会传递到队列myqueue;红色消息的的routing_key的值与绑定表中第二条和第三条记录的binding_key相等,则红色消息会传递到队列bar1和bar2内;蓝色消息的routing_key消息与绑定表无法匹配,此时qpid的处理方式会根据协议版本和设置的不同有所不同,一般是直接丢弃消息。

Fanout

一般用于广播模式。绑定表的binding_key不生效,发送至该类型Exchange的消息直接发送至绑定表内的队列。


Exchange-Fanout(来源qpid.apache.org)
Headers

Headers的作用是支持Arguments中设置的x-match。具体使用方法,参考 x-match expressionHeaders不支持JMS message selector。

Queue的类型

支持4中类型:
Standard - 一个简单的先进先出队列。

Priority - 每个消息的priority决定消息的传输顺序。
注意如果在创建该类型队列时,设置Priorities属性的值为0,则Broker服务端进程进行会抛数组越界异常,直接退出。退出后手动可以启动,但如果对qpid进行操作也会导致Broker服务端进程退出。在采用Qpid JMS (AMQP 0-10)的setJMSPriority(int priority)设置消息优先级并发送至队列时,消息队列内接收到的消息的优先级依旧是默认的优先级4,暂时不知道是什么原因引起这种情况。

Sorted - 传输顺序依赖于在消息中的排序键属性。
例如设置queue的qpid.queue_sort_key的值为testSortedKey,设置5条消息的属性testSortedKey的值分别为字符'5','4','1','6','7',并将消息发送至Sorted类型的队列,则之后消费者消费消息时的顺序是'1','4','5','6','7'。

Last Value Queue - 该队列只保存包含指定的LVQ key值的最新的一条消息。但是未包含指定LVQ key值的消息正常存储在队列上。

参考资料

维基百科:Advanced Message Queuing Protocol
AMQP官网
AMQP协议规范文档下载
Apache Qpid Broker for Java
How to use Message Selectors to filter messages

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 159,015评论 4 362
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 67,262评论 1 292
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 108,727评论 0 243
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 43,986评论 0 205
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 52,363评论 3 287
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 40,610评论 1 219
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 31,871评论 2 312
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 30,582评论 0 198
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 34,297评论 1 242
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 30,551评论 2 246
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 32,053评论 1 260
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 28,385评论 2 253
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 33,035评论 3 236
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 26,079评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,841评论 0 195
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 35,648评论 2 274
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 35,550评论 2 270

推荐阅读更多精彩内容

  • Spring Cloud为开发人员提供了快速构建分布式系统中一些常见模式的工具(例如配置管理,服务发现,断路器,智...
    卡卡罗2017阅读 134,100评论 18 139
  • 1. 历史 RabbitMQ是一个由erlang开发的AMQP(Advanced Message Queue )的...
    高广超阅读 6,068评论 3 51
  • 1 RabbitMQ安装部署 这里是ErLang环境的下载地址http://www.erlang.org/down...
    Bobby0322阅读 2,165评论 0 11
  • 来源 RabbitMQ是用Erlang实现的一个高并发高可靠AMQP消息队列服务器。支持消息的持久化、事务、拥塞控...
    jiangmo阅读 10,266评论 2 34
  • 关于消息队列,从前年开始断断续续看了些资料,想写很久了,但一直没腾出空,近来分别碰到几个朋友聊这块的技术选型,是时...
    预流阅读 583,075评论 51 786