《Netty in Action》读书笔记

Netty is an asynchronous event-driven network application framework for rapid development of maintainable high performance protocol servers & clients.

在看微博开源的rpc框架motan的过程中,了解到其使用了Netty构建客户和服务端,为了理解motan的源码于是找了Netty的相关书籍,其中之一就是《Netty In Action》,该书作者之一就是Netty的主力开发人员之一Norman Maurer。

书主要分为四个部分:

  1. Netty概念和架构:提供了简单点示例,介绍了组件及其设计和架构
  2. Codecs:详细介绍了编码和解码的实现
  3. 网络协议:WebSocket和UDP
  4. 案例研究:Droply, Firebase, Urban Airship, Nifty, Swift和Fiangle
Netty In Action

读完全书,对于Netty有了个基本的了解,可以尝试用其开发异步的网络服务例如企业自己的rpc框架,或者提供一些异步的高性能服务。

接下来把书中的内容做个梳理和介绍。

组件和架构

Netty组件包括如下几个类型:

  • Channel: 通道,表示到一些实体例如网络socket和文件的连接,通过它能执行I/O操作,比如读和写。生命周期中状态转换依次为:Unregistered (已创建未和注册到EventLoop),Registered(注册到EventLoop),Active(已连接到远程,可以接收和发送数据)和Inactive(断开连接)。

A Channel is a basic construct of Java NIO, it represents an open connection to an entity such as a hardware device, a file, a network socket, or a program component that is capable of performing one or more distinct I/O operations, for example reading or writing.

  • EventLoop & EventLoopGroup:一个EventLoopGroup包含一个或多个EventLoop,EventLoop通过一个线程处理所有的I/O事件,其被委派给一个或者多个Channel,一个Channel在其生命周期内只注册到一个的EventLoop。

https://en.wikipedia.org/wiki/Event_loop: the event loop, message dispatcher, message loop, message pump, or run loop is a programming construct that waits for and dispatches events or messages in a program.

Channels, EventLoops, and EventLoopGroups
  • ChannelFuture:注册监听器到异步的I/O操作,操作完成时监听器将被通知到。

  • ChannelHandler & ChannelHandlerContext:处理进入和输出的数据,有多种类型的handler。

  • ChannelPipeline:每一个Channel都会关联到一个ChannelPipeline,一个Channel一个ChannelPipeline其包含多个ChannelHandler,一个事件经过pipeline时里面所有的handler都会被按照加入顺序执行来处理事件。

  • BootStrap and ServerBootStrap:Bootstrap用来连接远程主机,有1个EventLoopGroup;ServerBootstrap用来绑定本地端口,有2个EventLoopGroup:一个与server自己的监听socket关联,对于所有进入的request创建channel,一个用来处理创建好的channel,分派EventLoop给channel。

一些功能

ByteBuf - Netty的数据容器

数据容器,用于数据的读写,ByteBuf有两种使用模式:堆缓冲区(HEAP BUFFERS:copy and write),直接缓冲(DIRECT BUFFER:zero copy)和组合缓冲(COMPOSITE BUFFERS: aggregate to avoid concating by copying multiple buffers),第一种在JVM的堆存储数据,第二种是在堆外存储,最后一种是在聚合多个不同的ByteBuff。Netty提供了allocator分配池化的ByteBuf以便更好的利用内存,同时也提供了非池化的实现。

编解码(Codec)

Codec组件包括encoder和decoder,是Netty的一个重要组成部分,用来做数据转换在网络传输和应用数据,重用比如有ByteToMessageDecoder,MessageToMessageDecoder,MessageToByteEncoder,MessageToMessageEncoder或ByteToMessageCodec和MessageToMessageCodec其同时包含decode和encode。Codec是pipeline的一部分,与其他handler一起顺序执行,例如对于输入的数据先decode然后送到后续的handler。

安全

  • SSL/TSL/HTTPS:利用SslHandler,SslEngine和SSLEngine来加密和解密数据。

传输和不同协议的支持

  • WebSocket
  • UDP
  • MQTT
  • Protocol Buffer
  • Thrift

具体实现和案例

客户端实现注意事项

  • Channel的长链接和重用?例如像motan用apache的object pool缓存channel
  • 如何配置和发现服务?ZooKeeper或Consul或者其他?
  • 心跳实现?
  • 数据传输的安全性?

服务端实现注意事项

  • 如何注册服务?ZooKeeper或Consul或者其他?
  • 使用线程池来处理request
  • 降级开关
  • 调用统计和监控

motan是一个很好的参看,架构清晰,代码模块化,简单明了和测试也比较全面。

参考

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 158,847评论 4 362
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 67,208评论 1 292
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 108,587评论 0 243
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 43,942评论 0 205
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 52,332评论 3 287
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 40,587评论 1 218
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 31,853评论 2 312
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 30,568评论 0 198
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 34,273评论 1 242
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 30,542评论 2 246
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 32,033评论 1 260
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 28,373评论 2 253
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 33,031评论 3 236
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 26,073评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,830评论 0 195
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 35,628评论 2 274
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 35,537评论 2 269

推荐阅读更多精彩内容