Zstd 压缩算法
简介
最近维护一个老的缓存系统，使用RUST语音实现，底层使用磁盘缓存。因为人员离职，打算用JAVA/KOTLIN 重新实现一遍。
考虑到历史缓存数量比较大，采用灰度模式，复用历史缓存，只是程序改成JAVA版本。刚刚开始一切比较顺利，但是上线以后显示历史缓存错误，比如hash不一样。
仔细翻看历史代码，底部存储使用了一种叫做zstd的一种压缩算法，找找资料，发现这个还挺牛的，特记录下。
Zstd，全称 Zstandard，是 Facebook 于 2016 年开源的新无损压缩算法。与 zlib、lz4、xz 等当前流行的压缩算法不同，Zstd 寻求一种压缩性能与压缩率通吃的方案，而实际上它也确实做到了。在由官方所列出的表格中，可以看到，Zstd 不仅具备优秀的压缩性能，在压缩率上也有非常亮眼的表现。官方资料。
Zstd-jni
Zstd-jni，顾名思义，是基于 Zstd 本地库实现的 Java 调用接口。它支持通过 Java 语言实现 Zstd 的压缩与解压缩。
在 Zstd-jni 的三方包中，主要实现了以下功能：
- 提供静态的压缩与解压缩方法
- 支持压缩数据的流式传输
- 支持字典文件的训练与添加
代码示例
添加依赖
// https://github.com/luben/zstd-jni
implementation("com.github.luben:zstd-jni:1.4.9-5")
读取历史文件，解压数据，写入到新文件。
private fun convertOldToNew(file: File, path: String): File {
val src = file.inputStream().use { it.readBytes() }
// 真坑，还要给大小
val size = when {
src.size < 10_000 -> src.size * 2
src.size < 100_000 -> src.size * 3
else -> src.size * 4
}
val dst = ByteArray(size)
val len = Zstd.decompress(dst, src)
val newFile = File(config.cacheDirFile(), path).apply { parentFile.mkdirs() }
newFile.outputStream().use { it.write(dst, 0, len.toInt()) }
log.error("convert old $file >>> $newFile, $len / ${file.length()}")
return newFile
}
Zstd Java Sdk 的版本就比较坑了，解压的时候，还需要给出大小。
