07 | Android 高级进阶(源码剖析篇) Twitter 的高性能序列化框架 Serial(三)

作者简介:ASCE1885, 《Android 高级进阶》作者。
本文由于潜在的商业目的,未经授权不开放全文转载许可,谢谢!
本文分析的源码版本已经 fork 到我的 Github

逆光之美

本文开始我们就来探讨下 Serial 序列化的奥秘,也就是数据流的处理,首先看下 Serial 流处理核心的类层次结构:

Serial核心类层次结构

其中抽象类 SerializerStream 用于定义数据流(无论是输入流还是输出流)操作的通用逻辑,目前只有一个方法 isPeekSupported,用来判断当前流是否支持“窥探”操作,主要指的是输入流是否支持在不消费流数据的前提下可以对输入流作某些操作,例如读取流中指定位置(Position)的某些字节信息。相信读者还记得第一篇文章中介绍过的 SerializerInput.peekType(),如果当前输入流 isPeekSupported 为 true,那么我们就可以调用输入流的 peekType 方法来判断流中接下来要读取数据类型是什么,从而执行相应的业务逻辑操作。

抽象类 SerializerInput 和 SerializerOutput 分别定义了输入流和输出流的规范,主要是各种数据类型的读取和写入方法,涉及基本数据类型,String 类型,字节数组 byte[],对象 Object,以及标识对象开始和结束的标记。这些我们在介绍它们的子类时会详细介绍,从上图中可以看到有两种类型的子类:

  • LegacySerializerInput/Output:读数据使用 java.io.ObjectInput,写数据使用 java.io.ObjectOutput,属于较传统的读写方式,第一篇文章介绍过的 Java 传统序列化方式 Serializable 和 Externalizable 底层就是基于这种方式实现对象在磁盘的读写。
  • ByteBufferSerializerInput/Output:读写数据都使用 java.nio.ByteBuffer,Serial 大多数情况都推荐使用这种方式。

下面我们分别来介绍这两种方式的具体实现。

LegacySerializerInput/Output

先有序列化把对象写入到磁盘,才会有反序列化从数据从磁盘还原成对象,因此,我们先来看序列化相关的方法。由于基本数据类型的读写直接调用 ObjectInput 和 ObjectOutput 的相应方法就可以,因此我们不做过多的介绍,这里以读写 int 类型为例看下代码即可,序列化和反序列化是成对的操作,后面我们分析时代码会放在一块进行对比:

// LegacySerializerInput.java
@Override
public int readInt() throws IOException {
    return mInput.readInt();
}

// LegacySerializerOutput.java
@Override
@NotNull
public LegacySerializerOutput writeInt(int val) throws IOException {
    mOutput.writeInt(val);
    return this; // 链式调用
}

String 类型和字节数组 byte[] 的读写也类似,都需要增加对 null 的处理,我们来看下 String 类型的代码逻辑就行。序列化时首先判断传入的字符串是否为 null,是的话就写入一个字节的 NULL_OBJECT 标识位;不为空时则先写入一个字节的 NOT_NULL_OBJECT 标识位,然后才写入真正的字符串数据:

// LegacySerializerDefs.java
protected static final byte NULL_OBJECT = 0;
protected static final byte NOT_NULL_OBJECT = 1;

// LegacySerializerOutput.java
@Override
@NotNull
public LegacySerializerOutput writeString(@Nullable String val) throws IOException {
    if (val == null) {
        writeByte(LegacySerializerDefs.NULL_OBJECT);
    } else {
        writeByte(LegacySerializerDefs.NOT_NULL_OBJECT);
        mOutput.writeUTF(val);
    }
    return this;
}

反序列化时首先从输入流中读取一个字节的数据,然后判断是否等于 NULL_OBJECT,是的话说明序列化时写入的是一个 null 值,否则读取真正的字符串信息,代码如下所示:

@Override
@Nullable
public String readString() throws IOException {
    final byte nullIndicator = readByte();
    if (nullIndicator == LegacySerializerDefs.NULL_OBJECT) {
        return null;
    }
    return mInput.readUTF();
}

接下来我们再来看看对象开始和结束的标记位的读写,可以看到,在这个实现中,只是写入了版本号信息而已,没有其他操作。

// LegacySerializerOutput.java
@Override
@NotNull
public LegacySerializerOutput writeObjectStart(int versionNumber) throws IOException {
    if (mUseVersionNumbers) {
        writeInt(versionNumber);
    }
    return this;
}

@NotNull
@Override
public LegacySerializerOutput writeObjectStart(int versionNumber, @NotNull String className) throws IOException {
    return writeObjectStart(versionNumber);
}

@Override
@NotNull
public LegacySerializerOutput writeObjectEnd() {
    return this;
}

// LegacySerializerInput.java
@Override
public int readObjectStart() throws IOException {
    if (mUseVersionNumbers) {
        return mInput.readInt();
    }
    return 0;
}

ByteBufferSerializerInput/Output

基本数据类型的序列化和反序列化过程是类似的,我们以 float 为例进行说明,首先需要注意,在每次写入数据到 ByteBuffer 之前,都需要判断当前 ByteBuffer 实例是否有足够的空间,空间不足时需要进行双倍的扩容,完成后再递归判断扩容后空间是否足够,代码如下所示:

private void ensureCapacity(int sizeNeeded) {
    if (mByteBuffer.remaining() < sizeNeeded) {
        // 获取当前写入的位置
        final int position = mByteBuffer.position();
        final byte[] bufferContents = mByteBuffer.array();
        // 双倍扩容
        final byte[] newBufferContents = new byte[2 * mByteBuffer.capacity()];
        // 将原来数组中的数据拷贝到扩容后的数组中
        System.arraycopy(bufferContents, 0, newBufferContents, 0, position);
        final ByteBuffer newBuffer = ByteBuffer.wrap(newBufferContents);
        newBuffer.position(position);
        mByteBuffer = newBuffer;
        // 递归判断扩容后空间是否足够
        ensureCapacity(sizeNeeded);
    }
}

float 数据序列化时,如果它的值为 0f,那么直接记录一个 HEADER_FLOAT_ZERO 标记即可,这样可以节省存储空间;如果不为 0f,那么先记录一个 HEADER_FLOAT 标记,然后记录真实的 float 值即可。

// ByteBufferSerializerDefs.java
public static final byte HEADER_FLOAT_ZERO = makeHeader(TYPE_FLOAT, SUBTYPE_DEFAULT);

// ByteBufferSerializerOutput.java
public ByteBufferSerializerOutput writeFloat(float val) {
    if (val == 0f) {
        writeHeader(ByteBufferSerializerDefs.HEADER_FLOAT_ZERO);
    } else {
        writeHeader(ByteBufferSerializerDefs.HEADER_FLOAT);
        ensureCapacity(ByteBufferSerializerDefs.SIZE_FLOAT);
        mByteBuffer.putFloat(val);
    }
    return this;
}

反序列化时,顺序反过来即可,先读取一个字节的头部标记,如果等于值为 0f 的标记,就返回 0f,否则读取真实的 float 值。

public float readFloat() throws IOException {
    try {
        final byte subtype = readHeader(SerializerDefs.TYPE_FLOAT);
        if (subtype == ByteBufferSerializerDefs.SUBTYPE_DEFAULT) {
            return 0f;
        }
        return mByteBuffer.getFloat();
    } catch (BufferUnderflowException ignore) {
        throw new EOFException();
    }
}

在 LegacySerializerInput/Output 中使用的 ObjectInput 和 ObjectOutput 支持 String 类型的读写,因此处理起 String 类型时很简单,到了 ByteBufferSerializerInput/Output,由于使用的 ByteBuffer 只提供对基本数据类型的读写,不直接支持 String 类型的读写,因此,就需要我们自己来处理了,这涉及到 Unicode 字符集和 UTF 编码相关问题。

还有 56% 的精彩内容
©著作权归作者所有,转载或内容合作请联系作者
支付 ¥5.20 继续阅读
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 151,511评论 1 330
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 64,495评论 1 273
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 101,595评论 0 225
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 42,558评论 0 190
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 50,715评论 3 270
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 39,672评论 1 192
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 31,112评论 2 291
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 29,837评论 0 181
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 33,417评论 0 228
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 29,928评论 2 232
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 31,316评论 1 242
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 27,773评论 2 234
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 32,253评论 3 220
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 25,827评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,440评论 0 180
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 34,523评论 2 249
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 34,583评论 2 249

推荐阅读更多精彩内容