第三章 图像处理

1.点操作

        输出图像的像素值仅仅由输入图像的像素值决定。

        1.1 像素变换

              根据像素产生输出像素，注意，这里的像素可以是多副图片的像素。

        1.2 颜色变换

              彩色图像的各通道间具有很强的相关性。

        1.3 合成和映射

              将前景对象从图像背景中提取出来，被称为抠图；将对象插入另一图像被称为合成。

        1.4 直方图均衡化

            对比度和亮度参数可以提升图像的外观，为了自动调节这两个参数，有两种方法，一种方法是寻找图像中最亮的值和最暗的值，将它们映射到纯白和纯黑，另一种方法是寻找图像的像素平均值，将其作为像素的中间灰度值，然后充满范围尽量达到可显示的值。

        局部自适应直方图均衡化，对于不同的区域采用不同的均衡化方法。缺点是会产生区块效应，即块的边界处亮度不连续，为了消除这一效应，常采用移动窗口，或者在块与块之间的转换函数进行平滑插值。

        1.5 应用:色调调整

        点算子的常用领域是对照片的对比度和色调进行操作。

2.线性滤波器

        与点算子相对应的邻域算子是根据选定像素及周围的像素来决定该像素的 输出。邻域算子不仅用于局部色调调整，还用于图像平滑和锐化，图像的去噪。

        邻域算子的重要概念是卷积和相关，它们都是线性移不变算子，满足叠加原理和移位不变原理。

        填塞，当卷积核超出图像边界时，会产生边界效应。有多种填塞方法，0填塞，常数填塞，夹取填塞，重叠填塞，镜像填塞，延长。

        2.1 可分滤波器

        如果一个卷积运算可以分解为一维行向量卷积和一维列向量卷积，则称该卷积核可分离。2D核函数可以看作一个矩阵K，当且仅当K的第一个奇异值为0时，K可分离。

        2.2 线性滤波器举例

        最简单的滤波器是移动平均或方框滤波器，其次是双线性滤波器（双线性核），高斯滤波器（高斯核），以上均为低通核，模糊核，平滑核。对于这些核函数效果的度量采用傅里叶分析。还有Sobel算子和角点算子。

        2.3 带通和导向滤波器

        Sobel算子是带方向的滤波器的近似，先用高斯核平滑图像，再用方向导数（拉普拉斯算子)作用于图像，得到导向滤波器，导向具有潜在的局部性以及很好的尺度空间特性。导向滤波器常用来构造特征描述子和边缘检测器，线性结构通常被认为是类似边缘的。

        区域求和表是指一定区域内所有像素值的和，又称为积分图像，它的有效计算方法是递归算法（光栅扫描算法），区域求和表用于对其他卷积核的近似，人脸检测中的多尺度特征，以及立体视觉中的差分平方和的计算。

        递归滤波器称为无限脉冲响应(IIR)，有时用于二维距离函数和连通量的计算，也可计算大面积的平滑计算。

3.邻域运算符

        3.1 非线性滤波器

        中值滤波可以去除散粒噪声，它的另一个优点是保边平滑，即在滤除高频噪声时，边缘不容易被柔化。

        双边滤波器思想的精髓在于，抑制与中心像素值差别较大的像素，而不是抑制固定百分比的像素。在加权滤波器的基础上，对权重系数进行了控制，即取决于定义域核（高斯核）和值域核（与中心像素值的相似度），两者相乘得到双边滤波器核。

        迭代自适应平滑核各项异性扩散。

        3.2 形态学

        非线性滤波常用于二值图像处理，二值图像中最常见的算子是形态学算子，将二值结构元素与二值图像卷积，根据卷积结果的阈值选择二值输出，结构元素可以是任何形状。

        常见的形态学操作有膨胀，腐蚀，过半，开运算，闭运算。过半使锐利的角变得平滑，开运算和闭运算去除图像中小的点和孔洞，并使图像平滑。

        3.3 距离变换

        距离变换通过使用两遍光栅扫描法，快速预计算到曲线或点集的距离，包括城街距离变换和欧氏距离变换。符号距离变换是基本距离变换的扩展，计算了所有像素到边界像素的距离。

        3.4 连通域

        检测图像的连通量是半全局的图像操作，连通量定义为具有相同输入值的邻接像素的区域，二值或多值图像被分割成连通量形式后，对每个单独区域计算统计量，面积，周长，质心，二阶矩，可用于区域排序和区域匹配。

4.傅里叶变换

          傅里叶变换用于对滤波器的频域特征进行分析，FFT能快速实现大尺度核的卷积。

          思想：为了分析滤波器的频率特征，将一个已知频率的正弦波通过滤波器，观察正弦波变弱的程度。傅里叶变换可认为是输入信号为正弦信号s(x)，经过滤波器h(x)后，产生的输出响应为正弦信号o(x)=s(x)*h(x),即两者的卷积。傅里叶变换是对每个频率的幅度和相位响应的简单罗列。傅里叶变换不仅可以用于滤波器，还能用于信号和图像。

          傅里叶变换的性质：叠加，平移，反向，卷积，相关，乘，微分，定义域缩放，实值图像，Parseval定理。

      4.1 傅里叶变换对

      常见的傅里叶变换对，连续的和离散的。方便进行傅里叶变换。

        高频成分将在降采样中导致混叠。

      4.2 二维傅里叶变换

        为了对二维图像及滤波器进行处理，提出了二维傅里叶变换，与一维傅里叶变换类似，只不过用向量代替标量，用向量内积代替乘法。

        4.3 维纳滤波器

        傅里叶变换还可用于分析一类图像整体的频谱，维纳滤波器应运而生。假定这类图像位于随机噪声场中，每个频率的期望幅度通过功率谱给出，信号功率谱捕获了空间统计量的一阶描述。维纳滤波器适用于去除功率谱为P的图像噪声的滤波器。

        维纳滤波器的性质，对于低频具有 单位增益，对于高频，具有减弱的效果。

        离散余弦变换(DCT）常用于处理以块为单位的图像压缩，它的计算方法是将以N为宽度的块内的像素与一系列不同频率的余弦值进行点积来实现。

        DCT变换的实质是对自然图像中一些小的区域的最优KL分解（PCA主成分分析的近似），KL能有效对信号去相关。

        小波算法和DCT交叠变种能有效去除区块效应。

        4.4 应用:锐化，模糊，去噪

          锐化和去噪声能有效增强图像，传统的方法是采用线性滤波算子，现在广泛采用非线性滤波算子，例如加权中值和双边滤波器，各向异性扩散和非局部均值，以及变分方法。

          度量图像去噪算法效果时，一般采用峰值信噪比(PNSR)，结构相似性(SSIM)索引。

5.金字塔和小波变换

        迄今为止所研究的图像变换输出图像大小均等于输入图像的大小，为了对不同分辨率的图像进行处理，比如，对小图像进行插值使其与电脑的分辨率相匹配，或者减小图像的大小来加速算法的执行或节省存储空间和传输时间。

        由于不知道处理图像所需的分辨率，故由多幅不同的图像构建图像金字塔，从而进行多尺度的识别和编辑操作。改变图像分辨率较好的滤波器是插值滤波器和降采样滤波器。

      5.1 插值

        为将图像变大到较高分辨率，需要用插值核来卷积图像，二次插值常用方法是双线性插值，双三次插值，窗函数。窗函数被认为是品质最高的插值器，因为它既可以保留低分辨率图像中的细节，又可以避免混叠。

        5.2 降采样

        降采样是为了降低图像分辨率，先用低通滤波器卷积图像，避免混叠，再保持第r个样例。常用的降采样滤波器有线性滤波器，二次滤波器，三次滤波器，窗余弦滤波器，QMF-9滤波器，JPEG2000滤波器。

        5.3 多分辨率表示

        通过降采样和插值算法，能够对图像建立完整的图像金字塔，金字塔可以加速由粗到精的搜索算法，以便在不同的尺度上寻找物体和模式，或进行多分辨率融合操作。

        计算机视觉中最有名的金字塔是拉普拉斯金字塔，采用大小为2因子对原图像进行模糊和二次采样，并将它存储在金字塔的下一级。

      5.4 小波变换

        小波是在空间域和频率域都定位一个信号的滤波器，并且是在不同层次的尺度上定义的。小波可以进行多尺度有向滤波和去噪。与常规的金字塔相比，小波具有更好的方向选择性，并提供了紧致框架。

        提升小波被称为第二代小波，很容易适应非常规采样拓扑，还有导向可移位多尺度变换，它们的表述不仅是过完备的，而且是方向选择的。

      5.5 应用:图像融合

        拉普拉斯金字塔的应用，混合合成图像。要产生混合图像，每个原图像先分解成它自己的拉普拉斯金字塔，之后每个带被乘以一个大小正比于金字塔级别的平滑加权函数 。最简单的方法是建立一个二值掩膜图像，根据此图像产生一个高斯金字塔，再将拉普拉斯金字塔和高斯掩膜，这两个带权金字塔的和产生最终图像。

6.几何变换

        相对于点操作改变了图像的值域范围，几何变换关注于改变图像的定义域。原先采用的方法是全局参数化2D变换，之后的注意力将转向基于网格的局部变形等更多通用变形。

        6.1 参数变换

        参数化变换对整幅图像进行全局变换，其中变换的行为由少量的参数控制，反向卷绕或反向映射的性能优于前向卷绕，主要在于其能够避免空洞和非整数位置重采样的问题。而且可以用高质量的滤波器来控制混叠。

        图像卷绕问题可形式化为给定一个从目标像素x'到原像素x的映射来重采样一副原图像。类似的反向法应用场合有光流法预测光流以及矫正透镜的径向畸变。

        重采样过程的插值滤波器有，二次插值，三次插值，窗插值，二次插值追求速度，三次插值和窗插值追求视觉品质。

        MIP映射是一种纹理映射的快速预滤波图像工具。   

        MIP图是标准的图像金字塔，每层用一个高质量的滤波器滤波而不是低质量的近似，重采样时，需要预估重采样率r。

        椭圆带权平均滤波器(EWA)，各向异性滤波，多通变换。

        有向二位滤波和重采样操作可以用一系列一维重采样和剪切变换来近似，使用一系列一维变换的优点是它们比大的，不可分离的二位滤波核更有效。

        6.2 基于网格扭曲

            为了获得更自由的局部变形，产生了网格卷绕。稀疏控制点，稠密集，有向直线分割，位移场的确定。

        6.3 应用:基于特征的形态学

            卷绕常用于改变单幅图像的外观以形成动画，也可用于多幅图像的融合以产生强大的变形效果，在两幅图像之间进行简单的渐隐渐显会导致鬼影，但采用图像卷绕建立了良好的对应关系，相应的特征便会对齐。

7.全局优化

        用一些优化准则明确表达想要变换的目标，再找到或推断出这个准则的解决办法。正则化和变分法，构建一个描述解特性的连续全局能量函数，然后用稀疏线性系统或相关迭代方法找到最小能量解，贝叶斯统计学对产生输入图像的有噪声的测量过程和关于解空间的先验假设进行建模，通常用马尔科夫随机场进行编码。常见示例有散列数据的表面插值，图像去噪和缺失区域恢复，将图像分为前景和背景区域。

      7.1 正则化

        正则化理论试图用模型来拟合严重欠约束解空间的数据。即用一个平滑的表面穿过或是靠近一个测量数据点集合的问题。这样的问题是病态的和不适定的。这样由采样数据点d(xi,yi)恢复完整图像f(x,y)的问题被称为逆问题。

        为了定义平滑解，常在解空间上定义一个范数，对于一维函数，函数一阶导数的平方进行积分，或对函数二阶导数的平方进行积分，这种能量度量是泛函的样例，是将函数映射到标量值的算子，这种方法被称为变分法，用于度量函数的变化（非平滑性）。

        7.2 马尔科夫随机场

        7.3 应用:图像复原