christmas.jpg
一. Java 的字节
byte (字节) 是 Java 中的基本数据类型，一个 byte 包含8个 bit(位），byte 的取值范围是-128到+127。
byte 跟 Java 其他基本类型的关系：
| 基本类型 | 所占字节数 | 备注 |
|---|---|---|
| byte | 1 | |
| short | 2 | |
| int | 4 | |
| long | 8 | |
| char | 2 | |
| float | 4 | |
| double | 8 | |
| boolean | 1、4 | 《Java虚拟机规范》给出了4个字节，和boolean数组1个字节的定义，具体还要看虚拟机实现是否按照规范来 |
二. 常用封装
由于工作关系，我封装了一个操作字节的库
github 地址：https://github.com/fengzhizi715/bytekit
2.1 bytekit 的特点：
- 支持多种方式创建 Bytes
- 支持字节数组、ByteBuffer 的操作
- 支持 Immutable 对象：ByteArrayBytes、ByteBufferBytes
- 支持 Transformer: 内置 copy、contact、reverse、xor、and、or、not，也支持自定义 Transformer
- 支持 Hash: 内置 md5、sha1、sha256
- 支持转换成16进制字符串
- 支持 mmap 常用读写操作：readByte/writeByte、readBytes/writeBytes、readInt/writeInt、readLong/writeLong、readDouble/writeDouble、readObject/writeObject
- 支持对象的序列化、反序列化、深拷贝
- 不依赖任何第三方库
bytes.png
Bytes 是一个接口，它有三个实现类：ByteArrayBytes、ByteBufferBytes、MmapBytes。其中，前面两个实现类是 Immutable 对象。
2.2 支持 Immutable 对象
Immutable 对象(不可变对象)，即对象一旦被创建它的状态（对象的数据，也即对象属性值）就不能改变。
它的优点：
- 构造、测试和使用都很简单
- 线程安全
- 当用作类的属性时不需要保护性拷贝
- 可以很好的用作Map键值和Set元素
2.3 支持 Hash 加密
对 Bytes 中的 byte[] 进行加密。在 Bytes 接口中，包含下面的默认函数：
/**
* 使用md5加密
* @return
*/
default Bytes md5() {
return transform(new MessageDigestTransformer("MD5"));
}
/**
* 使用sha1加密
* @return
*/
default Bytes sha1() {
return transform(new MessageDigestTransformer("SHA-1"));
}
/**
* 使用sha256加密
* @return
*/
default Bytes sha256() {
return transform(new MessageDigestTransformer("SHA-256"));
}
进行单元测试：
@Test
public void testHash() {
Bytes bytes = ByteArrayBytes.create("hello world");
assertEquals("5eb63bbbe01eeed093cb22bb8f5acdc3", bytes.md5().toHexString());
assertEquals("2aae6c35c94fcfb415dbe95f408b9ce91ee846ed", bytes.sha1().toHexString());
assertEquals("b94d27b9934d3e08a52e52d7da7dabfac484efe37a5380ee9088f7ace2efcde9", bytes.sha256().toHexString());
}
2.4 序列化、反序列化、深拷贝
支持对象的序列化、反序列化以及深拷贝。在 Bytes 接口中，包含下面的静态函数：
/**
* 序列化对象，转换成字节数组
* @param obj
* @return
*/
static byte[] serialize(Object obj) {
byte[] result = null;
ByteArrayOutputStream fos = null;
try {
fos = new ByteArrayOutputStream();
ObjectOutputStream o = new ObjectOutputStream(fos);
o.writeObject(obj);
result = fos.toByteArray();
} catch (IOException e) {
System.err.println(e);
} finally {
IOUtils.closeQuietly(fos);
}
return result;
}
/**
* 反序列化字节数字，转换成对象
* @param bytes
* @return
*/
static Object deserialize(byte[] bytes) {
InputStream fis = null;
try {
fis = new ByteArrayInputStream(bytes);
ObjectInputStream o = new ObjectInputStream(fis);
return o.readObject();
} catch (IOException e) {
System.err.println(e);
} catch (ClassNotFoundException e) {
System.err.println(e);
} finally {
IOUtils.closeQuietly(fis);
}
return null;
}
/**
* 通过序列化/反序列化实现对象的深拷贝
* @param obj
* @param <T>
* @return
*/
static <T> T cloneObject(T obj) {
return (T) deserialize(serialize(obj));
}
进行单元测试：
@Test
public void testSerializeAndDeserialize() {
User u = new User();
u.name = "tony";
u.password = "123456";
byte[] bytes = Bytes.serialize(u);
User newUser = (User)Bytes.deserialize(bytes);
assertEquals(u.name, newUser.name);
assertEquals(u.password,newUser.password);
}
@Test
public void testDeepCopy() {
User u = new User();
u.name = "tony";
u.password = "123456";
User newUser = Bytes.cloneObject(u);
System.out.println(u);
System.out.println(newUser);
assertNotSame(u,newUser);
assertNotSame(u.name,newUser.name);
}
testDeepCopy() 执行后，u 和 newUser 地址的不同，u.name 和 newUser.name 指向的内存地址也不同。
com.safframework.bytekit.domain.User@2b05039f
com.safframework.bytekit.domain.User@17d10166
2.5 copy、contact、reverse
copy、contact、reverse 都是采用 Transformer 的方式。在 AbstractBytes 类中，包含下面的函数：
@Override
public Bytes copy() {
return transform(new CopyTransformer(0, size()));
}
@Override
public Bytes copy(int offset, int length) {
return transform(new CopyTransformer(offset, length));
}
@Override
public Bytes contact(byte[] bytes) {
return transform(new ConcatTransformer(bytes));
}
@Override
public Bytes reverse() {
return transform(new ReverseTransformer());
}
进行单元测试：
@Test
public void testContact() {
Bytes bytes = ByteBufferBytes.create("hello world").contact(" tony".getBytes());
assertEquals(bytes.toString(), "hello world tony");
}
@Test
public void testCopy() {
Bytes bytes = ByteBufferBytes.create("hello world").contact(" tony".getBytes());
assertEquals(bytes.toString(), bytes.copy().toString());
}
@Test
public void testReverse() {
Bytes bytes = ByteBufferBytes.create("hello world").contact(" tony".getBytes());
assertEquals(bytes.toString(), bytes.reverse().reverse().toString());
}
2.6 位操作
xor、and、or、not 也是采用 Transformer 的方式。在 AbstractBytes 类中，包含下面的函数：
@Override
public Bytes xor(byte[] bytes) {
return transform(new BitWiseOperatorTransformer(bytes,BitWiseOperatorTransformer.Mode.XOR));
}
@Override
public Bytes and(byte[] bytes) {
return transform(new BitWiseOperatorTransformer(bytes, BitWiseOperatorTransformer.Mode.AND));
}
@Override
public Bytes or(byte[] bytes) {
return transform(new BitWiseOperatorTransformer(bytes, BitWiseOperatorTransformer.Mode.OR));
}
@Override
public Bytes not(byte[] bytes) {
return transform(new BitWiseOperatorTransformer(bytes, BitWiseOperatorTransformer.Mode.NOT));
}
进行单元测试：
@Test
public void testBitWise() {
ByteBufferBytes bytes = (ByteBufferBytes)ByteBufferBytes.create("hello world").contact(" tony".getBytes());
assertEquals(bytes.toString(), bytes.and(bytes.toByteArray()).or(bytes.toByteArray()).toString());
assertEquals(bytes.toString(), bytes.not(bytes.toByteArray()).not(bytes.toByteArray()).toString());
assertEquals(bytes.toString(), bytes.xor(bytes.toByteArray()).xor(bytes.toByteArray()).toString()); //两次xor 返回本身
}
2.7 Base64 编码、解码
@Test
public void testBase64() {
ByteBufferBytes bytes = (ByteBufferBytes)ByteBufferBytes.create("hello world").contact(" tony".getBytes());
String base64 = new String(bytes.encodeBase64());
assertEquals(bytes.toString(), new String(Bytes.parseBase64(base64)));
}
2.8 Bytes 转换成字节数组
@Test
public void testToByteArray() {
Bytes bytes = ByteBufferBytes.create("hello world").contact(" tony".getBytes());
assertEquals(bytes.toString(), new String(bytes.toByteArray()));
}
三. mmap 的操作
Linux 的 mmap 是一种内存映射文件的方法。
mmap将一个文件或者其它对象映射进内存。文件被映射到多个页上，如果文件的大小不是所有页的大小之和，最后一个页不被使用的空间将会清零。mmap在用户空间映射调用系统中作用很大。 mmap系统调用是将一个打开的文件映射到进程的用户空间，mmap系统调用使得进程之间通过映射同一个普通文件实现共享内存。普通文件被映射到进程地址空间后，进程可以像访问普通内存一样对文件进行访问，不必再调用read()、write()等操作。
import com.safframework.bytekit.domain.User;
import com.safframework.bytekit.jdk.mmap.MmapBytes;
import org.junit.After;
import org.junit.Before;
import org.junit.Test;
import static junit.framework.TestCase.assertEquals;
/**
* Created by tony on 2018-12-24.
*/
public class MmapBytesTest {
private MmapBytes mmapBytes;
private String file;
@Before
public void setUp() {
file = "test";
mmapBytes = new MmapBytes(file, (long) 1024 * 10); // 10M
}
@Test
public void testWriteAndRead() throws Exception {
mmapBytes.writeInt(12);
mmapBytes.writeInt(34);
mmapBytes.writeByte((byte) 5);
mmapBytes.writeBytes(("this is tony").getBytes());
mmapBytes.writeLong(6666L);
mmapBytes.writeDouble(3.14d);
assertEquals(12, mmapBytes.readInt());
assertEquals(34, mmapBytes.readInt());
assertEquals((byte) 5, mmapBytes.readByte());
assertEquals("this is tony", new String(mmapBytes.readBytes(12)));
assertEquals(6666L, mmapBytes.readLong());
assertEquals(3.14d, mmapBytes.readDouble());
}
@Test
public void testObject() throws Exception {
User u = new User();
u.name = "tony";
u.password = "123456";
mmapBytes.writeObject(u);
User temp = (User)mmapBytes.readObject(117);
assertEquals(u.name, temp.name);
assertEquals(u.password, temp.password);
}
@Test
public void testFree() throws Exception {
mmapBytes.writeInt(12);
mmapBytes.writeInt(34);
mmapBytes.writeByte((byte) 5);
mmapBytes.free();
mmapBytes = new MmapBytes(file, (long) 1024 * 10); // 10M
mmapBytes.writeInt(67);
assertEquals(67, mmapBytes.readInt());
}
@After
public void tearDown() {
mmapBytes.free();
}
}
四. 总结
bytekit 是一个操作字节的工具库，不依赖任何第三方库。它封装了字节数组、ByteBuffer 的操作，支持 mmap 常用的读写。
当然，它还可以封装 protobuf 的 ByteString 或者 Android 中的 Parcel，只需实现 Bytes 接口即可。
参考资料：
