基于hessian和netty的RPC框架设计和实现

一:概述

        对系统进行服务化改造,或者构建一个分布式系统,RPC是核心的组件,目前主流的RPC框架有hessian\thrift\ avro等,如果不考虑跨语言的话thrift\ avro使用起来稍显复杂,要写IDL序列化配置,hessian又依赖servlet容器,于是使用netty和hessian构建了一个的RPC框架。

        hessian是一种二进制的序列化工具,支持C++,python,rubyd等跨平台,但主要是面向java平台,其他语言的实现更新很慢。以下是参考网上的hessian序列化性能测试情况,从测试指标来看,跟Protocol Buffers有些差距,但总体表现还是不错的。

              序列化


             反序列化

      Netty 是一个基于NIO的网络通讯、服务器端编程框架,使用Netty 可以快速和简单的开发出一个网络应用,据非权威测试,在请求应答消息相同的情况下,HTTP方式的TPS是500左右,Netty模式是1.5万左右,还有更极端的优化到了10W TPS。可见其性能,稳定性和伸缩性都是在业界被普遍认可的。

        RPC的核心就是数据序列化和网络传输,一个典型的PRC服务发布和调用过程主要经历三个阶段,服务导出,服务处理,数据传输,如下图:


二:服务导出

服务定义

服务元数据


导出工具

一般会在服务器启动前进行导出


      以上就是服务导出的过程,首先的定义服务属性,包括服务名称,接口,实现类。然后就是服务的元数据,包含接口,方法签名。所谓导出,其实就是将这些元数据解析出来并进行缓存,以便在调用过程中能够根据服务名称找到服务的定义。

三 网络服务


      RPC服务器,通过NETTY的ServerBootStrap来定义,可以看到是使用NIO的方式来处理网络读写的(NioServerSocketChannelFactory)。bossThreadFactory用来接收客户端连接,workerThreadFactory用来执行具体的IO操作。ChannelPipeline是一个消息通道,对消息进行编码,解码,压缩,处理的一个处理器链条,应该是Chain of Responsibility。rpcHandler 是进行服务查找,序列化,反序列化,反射调用的处理器,也是整个RPC框架的核心。

     rpcHandler 继承自SimpleChannelUpstreamHandler,ChannelUpstreamHandler处理上行的通道事件,并且在流水线中传送事件。这个接口最常用的场景是拦截IO工作线程产生的事件,传输消息或者执行相关的业务逻辑。在大部分情况下,我们是使用 SimpleChannelUpstreamHandler 来实现一个具体的upstream handler,因为它为每个事件类型提供了单个的处理方法。大多数情况下ChannelUpstreamHandler 是向上游发送事件。

       rpcHandler 中使用独立的threadpool是用来处理具体业务的操作,尽量不占用IO线程(Server中的workerThreadFactory)。

     doSerivce是处理服务请求的方法,通过URL获取serviceName,再从输入流中用hessian反序列化获取AbstractHessianInput,能从中获取调用方法的名称,参数列表,参数类型列表等调用方信息。有了这些信息就可以从SerivceExporter中获取服务定义,找到服务的实现类processorClass,进行反射调用并返回结果。服务处理的过程,其实就是一个HTTP监听,拿到请求数据,反序列化,反射调用并返回的过程。


四 客户端

     客户端可以方便的通过Hessian自带的代理工厂进行实现,用短连接进行同步调用。一般RPC使用异步调用的情况不多,使用HessianProxyFactory可以满足大部分场景。

        如果RPC中处理的方法耗时较长或者对性有极高的要,则需要使用可复用的长连接进行异步调用,在做这个RPC工具的时候没有实现异步客户端,不过在别的项目中用到过异步调用的情况,这里给出实现代码供参考。

           以上是一个异步的netty客户端,大致思路就是,每一次发送请求都会给request一个ID(atomicLong.getAndIncrement()),并实例化一个ResponseFuture进行缓存,当发送同步请求的时候,调用Condition中的await方法,让线程阻塞,成功返回后,调用Condition中的signal唤醒阻塞的线程。当发送异步请求的时候,不阻塞线程,成功返回后,根据ResponseFuture中的request id找到回调函数,进行回调。最后删除ResponseFuture缓存。

五  SPRING 支持

      现在的企业开发spring有一统天下的趋势,如果RPC工具不支持SPRING集成,使用起来非常不方便。Spring提供自定义配置支持,通过扩展Schema,就可以完成标签的配置。

     第一步、在classpath下新建META-INF目录,在目录中定义nhrpc.XSD

      第二部、定义spring.handlers

      第三步、定义spring.schemas

第四步、实现命名空间处理器和标签解析器

      命名空间处理器集成自NamespaceHandlerSupport,作用是告诉spring标签用那个解析器来解析。

       标签解析器实现自BeanDefinitionParser,重写其中的doParse方法对标签进行解析,读取标签中的属性,子标签等,用来构造BeanDefinition,然后注册到ParserContext,当BeanDefinition 注册完毕以后, Spring Bean 工厂就可以随时根据需要进行实例化该bean 了。

         自定义标签添加完成后,就可以通过spring的配置方式来进行RPC服务的发布和调用了。

        是不是感觉方便很多。

五,总结

        rpc框架的实现过程并不复杂,关键点还是在于怎么选择高效的序列化协议,和高效的网络传输。源码地址:http://git.oschina.net/wj596/nhrpc



最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 162,408评论 4 371
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 68,690评论 2 307
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 112,036评论 0 255
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 44,726评论 0 221
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 53,123评论 3 296
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 41,037评论 1 225
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 32,178评论 2 318
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 30,964评论 0 213
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 34,703评论 1 250
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 30,863评论 2 254
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 32,333评论 1 265
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 28,658评论 3 263
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 33,374评论 3 244
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 26,195评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,988评论 0 201
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 36,167评论 2 285
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 35,970评论 2 279

推荐阅读更多精彩内容

  • Spring Cloud为开发人员提供了快速构建分布式系统中一些常见模式的工具(例如配置管理,服务发现,断路器,智...
    卡卡罗2017阅读 134,111评论 18 139
  • RPC框架远程调用的实现方式在原理上是比较简单的,即将调用的方法(接口名、方法名、参数类型、参数)序列化之后发送到...
    谜碌小孩阅读 3,053评论 0 13
  • Spring Boot 参考指南 介绍 转载自:https://www.gitbook.com/book/qbgb...
    毛宇鹏阅读 46,430评论 6 342
  • 当爱已成为一种习惯, 曾经的卿卿我我被岁月磨平。 彼此间话语越发稀少, 生活平淡地昏昏欲睡。 有人说这是一种亲人式...
    浮生梦中梦阅读 158评论 0 2
  • 爱上一个非正常人的电影很多:像《时光尽头的恋人》爱的人不会变老,像《我脑中的橡皮擦》爱的人每天记忆都在减退,像《初...
    王幼稚阅读 2,182评论 15 36