【消息中间件】了解消息中间件

1. 概述

1.1 为什么需要消息中间件

单体架构

在单体架构中,所有的代码、模块都放在一份代码中,如果其中一个模块需要升级,哪怕只修改了一点点,整个系统也要一起升级,这样耦合度太高,同时代码管理也比较难。

分布式系统架构

到了分布式系统架构,这里现在有前台系统、订单系统、会员系统,这三个系统分别独立部署,如果需要升级某个系统,其他系统不需要进行调整。

有些请求不是一个系统就能完成的,比如当在一个页面上面同时想看会员积分和下单的信息,通过一次请求,这个请求会涉及多个系统。这种多个系统协作处理一个请求的系统,就被看作是分布式系统,当某个系统压力大时,可以对单个系统进行扩展。

这时就会用到 RPC 技术,调用远程接口的方式实现系统间的互相调用。 但是这种方式的耦合度比较高,为了实现更强的拓展性架构,所以在分布式系统中引入了消息中间件,通过消息中间件解决系统的耦合。

基于消息中间件的分布式系统架构

加入了消息中间件之后,请求发送到消息中间件,由子系统处理完成,然后再给客户端相应。消息中间件独立部署,只负责消息的转发。

1.2 什么是消息中间件

满足以下要求的工具就可以被称为消息中间件

  • 利用高效可靠的数据传递机制,进行平台无关的数据交流
  • 基于数据通信来进行分布式系统的集成
  • 通过提供消息传递和消息队列模型,可以在分布式环境下拓展进程间的通信

1.3 消息中间件的应用场景

跨系统、跨进程的数据传递
高并发流量削峰
数据异步处理
······

1.4 常用的消息中间件

ActiveMQ、RabbitMQ、Kafka、RocketMQ

1.5 消息中间件核心

本质

一种具备接收请求、保存数据、发送数据等功能的网络应用
主要负责数据的接收和传递,所以性能一般都高于普通程序

5大核心组成
  • 协议
  • 持久化机制
  • 消息分发机制
  • 高可用设计
  • 高可靠设计

2. 协议

2.1 协议是什么

协议是计算机之间通信时共同遵循的一组约定,遵循相同的约定,计算机之间才能交流。
协议是对数据格式和对交换数据时必须遵守的规则的正式描述,简单来说协议就是规则。

2.2 协议三要素

  1. 语法:即数据与控制信息的结构或格式
  2. 语义:即需要发出何种控制信息、完成何种动作及做出何种反应
  3. 时序:即事件实现顺序的详细说明

以 HTTP 协议为例
语法:HTTP 规定了请求报文和响应报文的具体格式
语义:客户端主动发起的操作成为请求
时许:一个请求对应一个响应

2.3 消息中间件常用的协议

OpenWire、AMQP、MQTT、Kafka、OpenMessage

思考:为什么消息中间件不直接使用 HTTP 协议?

2.4 协议介绍

2.4.1 AQMP 协议

AMQP(Advanced Message Queuing Protocol)是高级消息队列协议
04年 JpMorgan Chase(摩根大通集团)联合其他公司共同设计。

特性:

事务支持、持久化支持,出生于金融行业,在可靠性消息处理上有天然的优势。

RabbitMQ、ActiveMQ 实现了此协议

2.4.2 MQTT 协议

MQTT(Message Queuing Telemetry Teansport)消息队列遥测传输
是 IBM 开发的一个即使通讯协议,物联网系统架构中的重要组成部分。

特性:

轻量、结构简单、传输快、没有事务支持、没有持久化相关设计。

应用场景:

适用于计算能力有限、低带宽、网络不稳定的场景。

RabbitMQ、ActiveMQ 实现了此协议

2.4.3 OpenMessage 协议

OpenMessage 是近一两年由阿里发起,与雅虎、滴滴出行、Streamlio 等公司共同参与创立的分布式消息中间件、流处理领域的应用开发标准。

特性:

结构简单、解析快、有事务设计、有持久化设计

RocketMQ 实现了此协议

2.4.4 Kafka 协议

Kafka 协议是基于 TCP 的二进制协议。消息内部是通过长度来分隔,由一些基本数据类型组成。

特性:

结构简单、解析快、无事务设计、有持久化设计

Kafka 实现了此协议

3. 持久化

简单来说就是将数据存入磁盘,而不是存在内存中随服务重启而消失,使数据能够永久保存叫做持久化。


3.1 常用消息中间件支持的持久化方式
- ActiceMQ RabbitMQ Kafka RocketMQ
文件系统 支持 支持 支持 支持
数据库 支持 / / /

4. 消息分发

常用消息中间件的分发策略
- ActiveMQ RabbitMQ Kafka RocketMQ
发布订阅 支持 支持 支持 支持
轮询分发 支持 支持 支持 /
公平分发 / 支持 支持 /
重发 支持 支持 / 支持
消息拉取 / 支持 支持 支持

发布订阅:当多个系统连接到消息中间件时,通过发布订阅知道消息是要发送给谁。
轮询分发、公平分发:当有多个节点有相同的订阅,是大家公平的接收,还是通过权重计算分发的对象。
重发:当由于系统原因导致异常,消息中间件可以重发这条数据
消息拉取:消息是主动分发,还是客户端主动拉取数据

5. 高可用

高可用性,指的是产品在规定的条件和规定的时刻或时间区间内,处于可执行规定状态功能的能力。

当业务量大时,一台消息中间件服务器可能无法满足需求,所以需要消息中间件能够集群部署,来达到高可用目的。

5.1 Master-Slave 主从共享数据部署方式

和数据库主从类似,但这里是共享数据,读取同一份数据源,当一台挂了,就切换到其他服务器,但数据还是同一份

5.2 Master-Slave 主从同步部署方式

和数据库主从一样,数据库会同步到 slave 上

5.3 Broker-Cluster 多主集群同步部署方式

多个服务器可以同时接收不同消费者的请求,数据会在每个服务器上备份

5.4 Broker-Cluster 多主集群转发部署方式

服务器可以将请求转发给其他服务器,可以选择转发数据或者转发请求,若转发请求的话,则所有服务器公用同一份数据。

5.5 Master-Slave 与 Broker-Cluster 结合

同时实现负载均衡和数据的备份

6. 高可靠

高可靠性指的是系统可以无故障地持续运行。比如一个系统从来不崩溃、报错,或者崩溃、报错的几率比较低,那就是高可靠。
保证消息中间件的高可靠,可以从以下几方面考虑

  1. 消息传输可靠:通过协议保证系统间数据解析的正确性
  2. 消息存储可靠:通过持久化来保证消息的存储可靠性
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 160,026评论 4 364
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 67,655评论 1 296
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 109,726评论 0 244
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 44,204评论 0 213
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 52,558评论 3 287
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 40,731评论 1 222
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 31,944评论 2 314
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 30,698评论 0 203
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 34,438评论 1 246
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 30,633评论 2 247
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 32,125评论 1 260
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 28,444评论 3 255
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 33,137评论 3 238
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 26,103评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,888评论 0 197
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 35,772评论 2 276
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 35,669评论 2 271

推荐阅读更多精彩内容