ByteBuf:Netty的数据容器

1. ByteBuf API的优点

  • 可以被扩展
  • 通过内置的复合缓冲区类型实现了透明的零拷贝
  • 容量可以按需增长
  • 读写模式切换不需要调用flip方法
  • 读写使用不用的索引
  • 方法支持链式调用
  • 支持引用计数
  • 支持池化

2.ByteBuf如何工作

ByteBuf维护了两个索引,一个读索引(readerIndex),一个写索引(writerIndex),读取数据时readerIndex增加,写入数据时writerIndex增加,当readerIndex达到writerIndex相同值时,再继续读取数据将会触发一个IndexOutOfBoundException

3.ByteBuf使用模式

  1. 堆缓冲区

最常用的模式是将数据存储到JVM对空间中,这种模式称为支撑数组,它能在没有使用池化的情况下提供快速的分配和释放。例子如下

ByteBuf byteBuf = ...;
if (byteBuf.hasArray()) {
    byte[] bytes = byteBuf.array();
    int offset = byteBuf.arrayOffset() + byteBuf.readerIndex();
    int length = byteBuf.readableBytes();
    hanle(array, offset, length);
}

当hasArray方法返回false时,尝试获取支撑数组将会引发UnsupportedOperationException,这和JDK的ByteBuffer类似

  1. 直接缓冲区

直接缓冲区允许通过本地调用来分配内存,这种方式可以减少每次调用本地I/O时将缓冲区内容复制到中间缓冲区。

直接缓冲区缺点在于,它的内存分配和释放比较昂贵,同时因为数据不在堆上,所以代码中不得不多进行一次复制,如下

ByteBuf byteBuf = ...;
if (!byteBuf.hasArray()) {
    int length = byteBuf.readableBytes();
    byte[] bytes = new byte[length];
    byteBuf.getBytes(byteBuf.readerIndex(), bytes);
    handle(bytes, 0, length);
}
  1. 复合缓冲区

复合缓冲区为多个ByteBuf提供了一个聚合视图,它允许添加或删除ByteBuf实例,Netty通过ByteBuf子类---CompositeByteBuf实现这个模式,它提供了一个将多个缓冲区表示为单个合并缓冲区的虚拟表示,例子如下

CompositeByteBuf buf = Unpooled.compositeBuffer();
ByteBuf headBuf = ...;
ByteBuf bodyBuf = ...;
buf.addComponents(headBuf, bodyBuf);
for (ByteBuf b:buf) {
    System.out.println(b.toString());
}

访问复合缓冲区

CompositeByteBuf buf = Unpooled.compositeBuffer();
int length = buf.readableBytes();
byte[] bytes = new byte[length];
buf.getBytes(buf.readerIndex(), bytes);
handle(bytes, 0, length);

4.ByteBuf的字节操作

  • 随机访问

和Java中的数组一样,ByteBuf的索引是从0开始,最后一个字节的索引是capacity()-1,对ByteBuf的随机访问代码如下

ByteBuf buf = ...;
for (int i = 0; i < buf.capacity(); i ++) {
    byte b = buf.getByte(i);
    System.out.println((char)b);
}

需要索引来获取数据的方法不会改变readerIndex、writerIndex的值

  • 可读字节

对于每个新分配的ByteBuf,其默认readerIndex都为0,任何以read或者skip开头的方法,会检索或者跳过位于当前readerIndex的数据,并且增加readerIndex的值

ByteBuf buf = ...;
while (buf.isReadable()) {
    System.out.println((char)buf.readByte());
}
  • 可写字节

可写字段指拥有一段未定义、可写入的内容,新分配的缓冲区默认writerIndex为0,任何以write为开头的方法都会增加writeIndex的值。

ByteBuf buf = ...;
while (buf.writableBytes() >= 4) {
    buf.writeInt(random.nextInt());
}
  • 索引管理

通过调用markReaderIndex、markWriterIndex、resetReaderIndex、resetWriterIndex可以实现对读、写索引的标记与重置,可以通过readerIndex(int)、writerIndex(int)方法来移动读、写索引,注意,任何试图将索引移动到一个无效位置的操作都会触发IndexOutBoundsException。

clear方法会将readerIndex和writerIndex置0,但是不会清除内存当中的内容,它仅仅是改变了索引的值。

  • 查找操作

ByteBuf中最简单的查找方法是indexOf(fromIndex, toIndex, value)方法,这个方法直接返回,这个方法查询指定索引之间的字符与指定值是否匹配,并返回查找到的索引。ByteBuf还提供了forEachByte()方法,这个方法接收一个ByteBufProcessor的实例,ByteBufProcessor接口只有一个方法:

boolean process(byte value)

通过这种方式可以使用一些较为复杂的查询逻辑来进行查询操作,ByteBufProcessor针对一些常见的值定义了一些具体实例,如程序想要查找换行符

ByteBuf buf = ...;
int index = buf.forEach(ByteBufProcessor.FIND_LF);
  • 派生缓冲区

Netty为ByteBuf提供了如下创建视图的方法

  1. duplicate()
  2. slice()
  3. slice(int, int)
  4. Unpooled。unmodifiableBuffer();
  5. order(ByteOrder);
  6. readSlice(int);

以上每个方法都会返回一个新的ByteBuf实例,他们维护自己的读、写索引,但是内部的存储是共享的,所以对视图实例的修改也会影响到源实例的内容。

如果需要一个ByteBuf的真是副本,可以使用copy()和copy(int, int)方法,这两个方法会返回一个拥有独立存储的ByteBuf。

  • 读写操作

ByteBuf的读写操作与JDK ByteBuffer类似,都提供了getXXX(int)、setXXX(int)的相对给定索引的读写方法,如getBoolean(int)、setBoolean(int, boolean)。

而readXXX()和wirteXXX()操作则是相对于readerIndex和writerIndex进行读写的,此类方法会修改readerIndex和writerIndex的值,如writeBoolean(boolean)、readBoolean()。

  • 其他操作
名称 描述
isReadable() 如果有可读的字节,返回true
isWritable() 如果有可写的空间,返回true
readableBytes() 返回可读取的字节数
writableBytes() 返回可以写入的字节数

5.ByteBuf分配

ByteBuf分配分为两种,一种是ByteBufAllocator进行分配,另外一种通过Unpooled进行分配,ByteBufAllocator的实例可以通过一下两种方式获取

Channel channel = ...;
ByteAllocator allocator1 = channel.alloc();

ChannelHandlerContext ctx = ...;
ByteAllocator allocator2 = ctx.alloc();

ByteBufAllocator提供了一系列重载的buffer()、heapBuffer()、directBuffer()、compositeBuffer()方法来分配ByteBuf。

在某些情况下可能无法获取到一个ByteAllocator的实例,此时可以使用Unpooled工具类来创建ByteBuf,具体方法如下

  • buffer()
  • buffer(int initialCapacity)
  • buffer(int initialCapacity, int maxCapacity)
  • directBuffer()
  • directBuffer(int initialCapacity)
  • directBuffer(int initialCapacity, int maxCapacity)
  • wrappedBuffer(...)
  • copiedBuffer(...)

推荐阅读更多精彩内容