数据序列化 - 学习笔记

Keyword: Java Seralization, Avro, Thrift, Protocol Buffer

数据序列化的意义:

    把对象的字节序列永久地保存到硬盘上,通常存放在一个文件中;(持久化对象)

    在网络上传送对象的字节序列。(网络传输对象) 

Java Seralization

  Java平台允许我们在内存中创建可复用的Java对象,但只有当JVM(Java虚拟机)处于运行时,这些对象才可能存在,也就是这些对象的生命周期不会比JVM的生命周期更长。但在现实应用中,就可能要求在JVM停止运行之后能够保存指定的对象(持久化对象),并在将来重新读取被保存的对象。

  网络通信时,无论是何种类型的数据,都会转成字节序列的形式在网络上传送。发送方需要把这个Java对象转换为字节序列,才能在网络上传送;接收方则需要把字节序列再恢复为Java对象

        Java 中的对象序列化, 帮助实现了以下两个重要特性:

            a.  远程方法调用 (Remote Method Invocation, RMI): 远程调用其他机器上的对象。当向远程对象传递消息时,就需要利用序列化传递参数和返回值 。

            b. JavaBean: Bean的状态信息通常是在设计时配置的,这些信息必须保存下来,供程序启动时调用

Java 中的对象实例化为轻量级持久(lightweigth persistence)。所谓持久(persistence), 即指对象的生命周期不是由程序是否运行决定的。通过将序列化的对象写入磁盘,等程序再次运行时再读出来, 可以达到持久的效果。 之所以说是轻量级, 是因为在Java中我们需要明确的进行序列化和反序列化的操作,而不是让系统handle 所有的细节。

    Java 实现:

1. 对象实现:必须实现这两个接口之一才可以序列化: Serializable, Externalizable.   

     Externalizable接口 与Serializable 接口类似,只是Externalizable接口需要强制自定义序列化。 

2. 序列化:ObjectOutputStream代表对象输出流。 反序化:ObjectInputStream代表对象输入流

3. 阻止递归序列化:

        当对某个对象进行序列化时,系统会自动将该对象的所有属性依次进行序列化,如果某个属性引用到别一个对象,则被引用的对象也会被序列化。如果被引用的对象的属性也引用了其他对象,则被引用的对象也会被序列化。 这就是递归序列化。有时候,我们并不希望出现递归序列化,或是某个存敏感信息(如银行密码)的属性不被序列化,我们就可通过transient关键字修饰该属性来阻止被序列化。方法、static属性(静态属性)、transient属性(即瞬态属性)都不会被序列化

4. serialVersionUID: 只要我们自己指定了serialVersionUID,就可以在序列化后,去添加一个字段,或者方法,而不会影响到后期的还原. 显式地定义serialVersionUID有两种用途:

    a、 在某些场合,希望类的不同版本对序列化兼容,因此需要确保类的不同版本具有相同的serialVersionUID;

    b、 在某些场合,不希望类的不同版本对序列化兼容,因此需要确保类的不同版本具有不同的serialVersionUID。

5. 示例 


其他序列化框架:

当我们碰到性能问题,或者需要跨语言传输数据时,我们可能需要依赖其他序列化框架。

比较流行的几个框架有:

 1. Avro [ævrə] 数据序列化框架. Hadoop 的一个子项目. (spark, flink 没有采用). 优势: 动态模式(不用生成代码,而且性能很好,不是最好,很多系列化问题可以针对具体问题,具体分析) 

        http://techblog.rtbhouse.com/2017/04/18/fast-avro/

        http://vanillajava.blogspot.com/2011/10/serialization-using-bytebuffer-and.html

        https://github.com/eishay/jvm-serializers/wiki

        https://www.jianshu.com/p/ecbb607809c4

    2. Apache Thrift: facebook, version 0.11 Inkubator. also offers RPC. an interface definition language and binary communication protoco

        https://en.wikipedia.org/wiki/Apache_Thrift

    3. Protocol Buffers: 2001 (design)~2008 (open sourced), 所有Google service 的框架. 但在Google体系之外使用的较少 


背景知识: 

Interface Definition Language (IDL )

binary/XML/JSON/plain text 为数据格式; http/soap 为传输协议。 序列化实现并不包含

Reference:

https://blog.csdn.net/zcl_love_wx/article/details/52126876

https://www.jianshu.com/p/ecbb607809c4

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 158,560评论 4 361
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 67,104评论 1 291
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 108,297评论 0 243
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 43,869评论 0 204
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 52,275评论 3 287
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 40,563评论 1 216
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 31,833评论 2 312
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 30,543评论 0 197
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 34,245评论 1 241
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 30,512评论 2 244
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 32,011评论 1 258
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 28,359评论 2 253
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 33,006评论 3 235
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 26,062评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,825评论 0 194
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 35,590评论 2 273
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 35,501评论 2 268

推荐阅读更多精彩内容