常用图像插值方法概述

缘由

之前我在公司做了一个在JNI层缩放Bitmap的需求。
需求本身很简单，就是按各种比例缩小或者放大图像，要求缩放后无明显锯齿，不失真。
很容易就想到了双线性插值算法，于是在Github上找了开源代码
即JniBitmapOperationsLibrary里的函数：

Java_com_jni_bitmap_1operations_JniBitmapHolder_jniScaleBIBitmap

这个Github项目的历史有6年了，也有接近500的star。但接入后还是觉得效果不如预期，有时候失真严重。后来发现是因为函数实现里的几行代码逻辑有问题。于是向作者提了PullRequest, 已经被merge了。

拓展

传统的图像插值算法主要有以下几种：最邻近插值法；双线性插值法；双三次插值法；lanczos插值。以上算法效果按顺序越来越好，但计算量也是越来越大。

最邻近插值法

效果上比较粗糙，容易失真。
实现最简单，就是取最接近目标位置的像素的值。

双线性插值法

效果上比较平滑。

在X和Y方向分别进行一次线性插值, 采样点的权重与和目标点的距离负相关。
设要插值的像素坐标为(X.a,Y.y), 大写和小写分别表示坐标的整数部分和小数部分，f(x)为读取像素值的函数，那么双线性插值的结果为
f(X.x,Y.y) = (1-x)f(X,Y) + xf(X+1,Y) + [(1-x)f(X,Y+1) + xf(X+1,Y+1)]y
= (1-x)(1-y)f(X,Y) + x(1-y)f(X+1,Y) + (1-x)yf(X,Y+1) + xyf(X+1,Y+1)
可以观察到，采样点的权重就是横向权重与纵向权重的乘积。
由于效果和耗时都适中，所以应用广泛，比如OpenGL里的GL_LINEAR就是双线性过滤的意思。

双线性插值.png

双三次插值法

效果过上比双线性插值更少锯齿, 更平滑。

比双线性的采样点更多，即取目标像素点周围的16个采样点的加权平均求得目标像素值。并且计算权重的过滤函数是三次多项式。

三线性插值.png

采样的过程可以用矩阵乘法表示如下

bicubic插值矩阵表示.jpeg

其中i,j是坐标的整数部分。v,u是坐标的小数部分。f(x)为读取像素的函数。S(x)为权重函数。
而权重函数可以表示如下

bicubic插值的权重计算公式.jpeg

其中a的取值说明如下

  -0.5 三次Hermite样条
  -0.75 常用值
  -1 逼近y = sin(x*PI)/(x*PI)
  -2 常用值

权重函数对应的图像如下

bicubic的权重函数图像.jpeg

lanczos插值

效果上比双三次插值更清晰锐利。但在图像的高频信号区域(像素陡变的地方,比如素描的线条边缘)，会有振铃效应(Ringing Artifact), 这种情况下建议改用双线性过滤。

和双三次插值法原理差不多，取卷积核为4*4时，计算过程对应的矩阵表示和上面的“双三次插值矩阵表示”一样。
计算权重的函数如下：

Lanczos采样的权重计算函数.png

其中a = kernelWidth * 0.5。即在卷积核为4 * 4时, a= 2
权重函数对应的图像如下

lanczos权重计算函数图像.jpeg

Lanczos和双三次插值的耗时, 是双线性插值的2倍左右, 这个性能在绝大多数移动端场景下都是OK的。
还可以利用LUT，来避免重复的数学计算，提高性能:
文章里的CreateGaussianTexture方法
预计算

其他补充

OpenGL领域还有MipMap三线性过滤（GL_LINEAR_MIPMAP_LINEAR）法。
也可以接入FFmPeg直接使用libswscale库里的各种过滤算法。
开源库OpenCV也提供了各种图像i算法的C++实现。

最后编辑于：2021.04.22 14:41:42