MQTT---HiveMQ源码详解(十二)Netty-MQTT消息、事件处理(流程)

简介

前面这些章节,讲的基本上都是属于netty对MQTT周边的一些处理,由于MQTT协议总共目前可用的消息类型有14个,如果再加上对应的事件处理加载一起那就估计大概有14*3个handler,如果每个来讲一遍,难免有些枯燥,而且知识点会很分散,思考再三,想把整体的MQTT消息以及对应的事件处理作为一节来介绍,我们只讲它整体的实现思路、处理流程即可,这样对需要自己写broker的朋友的帮助应该是非常大的,这也符合最初写此系列博客的初衷。

热身

一、Callback

callback

1、分类

HiveMQ的Callback总体分为同步、异步两种callback,其中部分异步callback被标记为lowlevel。

2、同步

可以看出同步的callback主要分为broker的callback、安全相关的callback、OnConnectCallback、OnPublishReceivedCallback、OnSubscribeCallback,这些回调都是使用异步线程调用。

  1. broker在启动和关闭时,会触发OnBrokerStart和OnBrokerStop,用户可在broker启动的时候做一些自己的处理,例如数据库连接池的创建,spring context的创建等等;在broker关闭时,可以关闭数据库连接池等操作。

  2. 安全相关的主要包括Authentication、Authorization,主要是做连接认证和授权;可以写第三方plugin去做Authentication和Authorization。

  3. OnConnectCallback、OnPublishReceivedCallback、OnSubscribeCallback,用户可以在client连接、client publish、client subscribe的时候做一些处理。

3、异步

  1. 异步callback主要包括一些mqtt消息回调、认证完成回调等等,用户可以根据自己的需求开发一些个性化插件定制属于自己的broker业务。

4、lowlevel

  1. lowlevel属于异步callback的一部分,都是mqtt消息的回调。

5、CallbackExecutor

  1. CallbackExecutor就是所有异步调用callback处理的Executor,由hivemq统一调配;用户可使用配置内部参数来控制其线程数;来保证broker的性能;CallbackExecutor由CallbackExecutorProvider创建提供。

三、Plugin*Handler

在netty handlers一览中介绍了很多plugin*handler;这些handler都是监听netty的用户自定义event来对callback进行回调

正戏

下来就通过mqtt的connect消息的整个调用处理流程来示例一下mqtt消息和事件处理。

貌似简书不支持sequence。下面的请各自自行用markdown显示即可。

MqttConnectHandler -> MqttConnectHandler: 当接受到connect消息时
MqttConnectHandler -> MqttConnectHandler:为pipeline添加MqttDisallowSecondConnect(请查看协议 MQTT-3.1.0-2)
MqttConnectHandler -> MqttConnectHandler:验证clientid长度是否符合配置,否则发送ConnAck(REFUSED_IDENTIFIER_REJECTED)到client端
MqttConnectHandler -> MqttConnectHandler:删除IdleStateHandler和NoConnectIdleEventHandler(连接建立后,必须在用户配置时间内发送connect消息)
MqttConnectHandler --> PluginOnAuthenticationCallbackHandler:触发PluginOnAuthentication事件,让其调用callback进行认证
PluginOnAuthenticationCallbackHandler --> PluginOnAuthenticationCallbackHandler:异步遍历所有OnAuthenticationCallback让其认证,每一个callback认证完成会触发一个PluginOnAuthenticationCallbackCompleted事件
PluginOnAuthenticationCallbackHandler --> PluginOnAuthenticationCallbackHandler:接收到PluginOnAuthenticationCallbackCompleted,根据用户的插件认证配置决定下一步处理
PluginOnAuthenticationCallbackHandler --> MqttConnectHandler:当认证完成后会触发PluginOnAuthenticationCompleted
MqttConnectHandler -> MqttConnectHandler:根据client端是否存在LWT,做LWT处理(此处不做过多描述,主要目的是描述流程)
MqttConnectHandler -> MqttConnectHandler:为pipeline添加:PluginAfterLoginCallbackHandler,做认证完成回调处理
MqttConnectHandler --> PluginAfterLoginCallbackHandler:触发PluginAfterLogin事件,让其调用callback进行认证完成结果的通知
MqttConnectHandler -> MqttConnectHandler:若认证不通过则发送ConAck(OnAuthenticationCallback返回的return code)到客户端
MqttConnectHandler -> MqttConnectHandler:添加PluginRestrictionsCallbackHandler,为客户端进行授权。
MqttConnectHandler --> PluginRestrictionsCallbackHandler:触发PluginRestrictionsAfterLogin事件,让其遍历调用RestrictionsAfterLoginCallback,让每个callback对客户端进行授权
PluginRestrictionsCallbackHandler --> MqttConnectHandler:当每个授权都完成后,触发PluginRestrictionsAfterLoginCompleted,将授权信息进行回传
MqttConnectHandler --> MqttConnectHandler:为pipeline添加:PluginOnConnectCallbackHandler,让其遍历所有callback进行连接通知
PluginOnConnectCallbackHandler --> MqttConnectHandler:当所有OnConnectCallback回调完成,触发PluginOnConnectCompleted事件
MqttConnectHandler -> MqttConnectHandler:处理掉与当前clientid一样的连接
MqttConnectHandler -> ChannelPersistence:保存连接
MqttConnectHandler -> MqttConnectHandler:添加closeFuture,处理客户端断线
MqttConnectHandler --> MqttConnectPersistenceHandler:若客户端持久session,则触发持久session事件,让MqttConnectPersistenceHandler处理持久session处理
MqttConnectHandler --> MqttConnectHandler:采集(统计)当前在线连接数增加
MqttConnectHandler --> MqttConnectHandler:添加closeFuture,采集(统计)当前在线连接数减少

流程较多,部分细节处理做了减免描述,为了让大家更清晰地了解消息的处理、事件的处理、以及其相互之间的触发方式,大家如果自己写broker,没必要生搬硬套按照这样的步骤去处理(只要按照mqtt标准/建议的处理流程去处理即可),目的是为了大家了解其处理机制提供一个思路而已。


总结


1、所有的mqtt消息的handler与callbackhandler都是通过netty的自定义event来实现交互的,callbackhandler几乎都是动态加入到pipeline中以减少内存的消耗。

2、所由callbackhandler都使用CallbackExecutor去异步调用callback,并监听对应完成的event来进行交互。

由上可以看出,所有流程都是采用异步处理,同时限制Executor线程数来限制异步同时处理过多,使用netty自定义event来达到相互的交互、以及客户端(plugin、mqtt client)感知的同步。


MQTT交流群:221405150

RocketMQ交流群:10648794

NewSQL交流群:153575008


最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 158,425评论 4 361
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 67,058评论 1 291
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 108,186评论 0 243
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 43,848评论 0 204
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 52,249评论 3 286
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 40,554评论 1 216
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 31,830评论 2 312
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 30,536评论 0 197
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 34,239评论 1 241
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 30,505评论 2 244
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 32,004评论 1 258
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 28,346评论 2 253
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 32,999评论 3 235
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 26,060评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,821评论 0 194
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 35,574评论 2 271
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 35,480评论 2 267

推荐阅读更多精彩内容