Shape-Preserving Half-Projective Warps for Image Stitching

作者：Che-Han Chang; Yoichi Sato; Yung-Yu Chuang
机构：台湾大学
年份：2014
期刊/会议：Conference on Computer Vision and Pattern Recognition (CVPR)
原文地址：Shape-Preserving Half-Projective Warps for Image Stitching

本文提出了一种新的参数扭曲，它是投影变换和相似变换的空间组合。给定与两个输入图像相关的投影变换，基于对投影变换的分析，我们的方法将重叠区域的投影变换平滑地外推到非重叠区域，并且由此产生的扭曲在整个图像上逐渐从投影变为相似。提议的扭曲具有投影扭曲和相似扭曲的优点。它作为投影扭曲提供了良好的对齐精度，同时将单个图像的视角保留为相似扭曲。它还可以与更先进的基于局部扭曲的对齐方法相结合，例如尽可能投影的扭曲，以获得更好的对齐精度。使用建议的经线，通过缝合投影失真较小的图像（拉伸形状和放大尺寸），可以扩展视野。

Ⅰ 介绍

动机：通常图像拼接是找到全局参数扭曲使图像对齐。全局参数扭曲选择包括相似性、仿射和投影，具有强大的鲁棒性，但是并非针对所有场景和运动都很灵活。例如在非平面场景或有视差、运动物体时，无法提供精确的对齐。

为了解决上述问题，最近提出了几种局部扭曲模型。如平滑变换仿射 (SVA) 扭曲和尽可能投影 (APAP) 扭曲。这些方法不依赖于全局参数扭曲，而是在重叠区域采用局部参数扭曲，在非重叠区域，投影正则化用于平滑外推图像重叠之外的扭曲并整体类似于全局变换。

(a)和(b)为APAP扭曲，(c)和(d)是本文方法

使用APAP扭曲在非重叠区域投影扭曲严重改变了尺寸和形状，当下一张图像被拼接时，失真会进一步加大。

由于具有宽视野的单视角图像不可避免地会引入严重的形状/尺寸失真，因此解决方案必须提供多视角拼接图像。一个初步的想法是在重叠区域使用投影扭曲以更好地对齐，同时在非重叠区域使用相似扭曲以保留每个视图的视角。

本文提出了一种新的参数扭曲，即形状保持半投影扭曲，它是投影变换和相似变换的空间组合。这种组合同时考虑了对齐的灵活性和视角的保留。

Ⅱ 相关工作

圆柱形和球形扭曲
多单应和局部变换
投影变换和相似变换

Ⅲ 提出的方法

投影变换分析

投影变换（单应矩阵）表示像素点 $(x,y)\to(x^\prime,y^\prime)$ 在齐次坐标系下的线性变换关系：
$\left[\matrix{x^{\prime}\cr y^{\prime}\cr 1}\right]\sim\left[\matrix{\hat{h}_{1}&\hat{h}_{2}&\hat{h}_{3}\cr \hat{h}_{4}&\hat{h}_{5}&\hat{h}_{6}\cr \hat{h}_{7}&\hat{h}_{8}&1}\right]\left[\matrix{x\cr y\cr 1}\right],\tag{1}$
其中 $\sim$ 表示依据尺寸相等。单应矩阵拥有8个参数， $(x,y)$ 到 $(x^\prime.y^\prime)$ 的映射可以表示为：
$x^{\prime}={\hat{h}_{1}x+\hat{h}_{2}y+\hat{h}_{3}\over \hat{h}_{7}x+\hat{h}_{8}y+1},\quad y^{\prime}={\hat{h}_{4}x+\hat{h}_{5}y+\hat{h}_{6}\over \hat{h}_{7}x+\hat{h}_{8}y+1}. \tag{2}$
当我们将 $(x,y)$ 旋转一定角度，变为新的坐标 $(u,v)$ 时，有如下对应关系：
$\eqalignno{\left[\matrix{ x\cr y}\right]&=\left[\matrix{ \cos\theta & -\sin\theta\cr \sin\theta & \cos\theta}\right]\left[\matrix{ u\cr v}\right],&\hbox{(3)}\cr \theta&= {\rm atan} 2(-\hat{h}_{8}, -\hat{h}_{7}).&\hbox{(4)}}$
进行坐标变换后，新的单应矩阵可以表示为：
$\eqalignno{\left[\matrix{ x^{\prime}\cr y^{\prime}\cr 1}\right]\sim\left[\matrix{ h_{1} & h_{2} & h_{3}\cr h_{4} & h_{5} & h_{6}\cr -c & 0 & 1}\right]\left[\matrix{ u\cr v\cr 1}\right],&&\hbox{(5)}\cr {\rm where}\ \left[\matrix{ h_{1} & h_{2}\cr h_{4} & h_{5}}\right]=\left[\matrix{ \hat{h}_{1} & \hat{h}_{2}\cr \hat{h}_{4} & \hat{h}_{5}}\right]\left[\matrix{ \cos\theta & -\sin\theta\cr \sin\theta & \cos\theta}\right],& &\hbox{(6)}\cr (h_{3}, h_{6})=(\hat{h}_{3},\hat{h}_{6}), & &\hbox{(7)}\cr c=\sqrt{\hat{h}_{7}^{2}+\hat{h}_{8}^{2}}.&&\hbox{(8)}}$
新的映射关系同样可以写为：
$\eqalignno{&x^{\prime}=H_{x}(u, v)={h_{1}u+h_{2}v+h_{3}\over 1-cu},&\hbox{(9)}\cr &y^{\prime}=H_{y}(u, v)={h_{4}u+h_{5}v+h_{6}\over 1-cu}.&\hbox{(10)}}$
于是将映射关系变为了 $u$ 和 $v$ 相关的函数。即
$[x^\prime, y^\prime]^T=H(u,v)=[H_x(u,v),H_y(u,v)]^T$
坐标变换的好处在于单应矩阵中 $h_8=0$ 了，坐标变换导致有如下性质：

尺度变化。单应矩阵 $H$ 可以分解为仿射变换 $H_A$ 和纯投影 $H_P$ ，如下所示：
$\underbrace{\left[\matrix{ h_{1} & h_{2} & h_{3}\cr h_{4} & h_{5} & h_{6}\cr -c & 0 & 1}\right]}_{H}=\underbrace{\left[\matrix{ h_{1}+ch_{3} & h_{2} & h_{3}\cr h_{4}+ch_{6} & h_{5} & h_{6}\cr 0 & 0 & 1}\right]}_{H_{A}}\underbrace{\left[\matrix{ 1 & 0 & 0\cr 0 & 1 & 0\cr -c & 0 & 1}\right]}_{H_{P}}. \tag{11}$
像素点 $(u,v)$ 局部区域的变化可以用单应矩阵 $H$ 的雅可比矩阵的行列式表示，即
$\eqalignno{\det J(u, v)&=\det J_{A}(u, v)\cdot\det J_{P}(u, v)\cr &=s_{A}\cdot{1\over (1-cu)^{3}},&\hbox{(12)}}$
其中 $s_A=\det J_A(u,v)$ 是取决于 $u$ 和 $v$ 的常量。特别地，在(12)中，局部变换尺度因子只取决于 $u$ ， $u$ 越大，由单应 $H$ 导致的尺度变化越大，如下图所示，沿着 $u$ 轴增大的区域扭曲变形越大。

投影扭曲和我们的保形半投影扭曲的比较。请注意，本文方法扭曲显示的形状和大小失真比投影扭曲小得多。
$H$ 的线性

仿射变换保留线长度比例，然而投影变换并不会。然而，在特定的坐标下，长度比例在投影变换下也可以被正确保留。在(9-10)式中，如果固定 $u$ ， $H_x(u_0,v)$ 和 $H_y(u_0,v)$ 是 $v$ 的线性函数：
$\eqalignno{&x^{\prime}=H_{x}(u_{0}, v)={h_2\over 1-cu_{0}}v+{h_{1}u_{0}+h_{3}\over 1-cu_{0}},&\hbox{(13)}\cr &y^{\prime}=H_{y}(u_{0}, v)={h_5\over 1-cu_{0}}v+{h_{4}u_{0}+h_{6}\over 1-cu_{0}}.&\hbox{(14)}}$
这表示，单应 $H$ 保留了线的长度比例。
规则边界

规则边界由移动直线扫出来，可以参数化表示为： ${\bf s}(u,v)={\bf p}(u)+v\cdot{\bf r}(u)$ ，其中 ${\bf p}(u)$ 为基准曲线， ${ \bf r}(u)$ 为导向曲线，考虑函数 $k(u,v)=f(u)v+g(u)$ ，其图形（由 $(u,v,k(u,v))$ 构成的表面）可以表示为
$\left[\matrix{u\cr v\cr k(u, v)}\right]=\underbrace{\left[\matrix{u\cr 0\cr g(u)}\right]}_{{\bf p}(u)}+v\underbrace{\left[\matrix{0\cr 1\cr f(u)}\right]}_{{\bf r}(u)},\tag{15}$
代表这是一个规则表面。而 $H_x(u,v)$ 和 $H_y(u,v)$ 可以写成 $f(u)v+g(u)$ 的形式，表示的图为规则表面。

半投影扭曲

本文的扭曲方法用到了上述坐标变换投影变换 $H$ 的三个性质。首先，将 ${\mathbb R}^2$ 依据直线 $u=u_1$ 分为两个部分： $R_H=\{(u,v)|u\leq u_1\}$ 和 $R_L=\{(u,v)|u\geq u_1\}$ ，对于像素点 $(u,v)\in R_H$ ，应用原始变换 $H$ ，对于像素点 $(u,v)\in R_L$ ，应用相似变换 $S$ 取代原始变换 $H$ ，由性质1可知 $R_L$ 区域会产生更大扭曲。

为了保证扭曲的连续性，我们必须保证在分界线处所有的 $S(u,v)=H(u,v)$ ，需要注意的是并非所有投影变换都满足这个条件因为投影变换并非都是线性的。幸运的是，由性质2可知，只要沿着 $v$ 方向，扭曲的连续性就可以得到保障，在分界线上对所有 $v$ 而言，有
$S(u, v)={1\over 1-cu_{1}}\left(\left[\matrix{ h_{5} & h_{2}\cr -h_{2} & h_{5}}\right]\left[\matrix{ u\cr v}\right]+\left[\matrix{(h_{1}-h_{5})u_{1}+h_{3}\cr (h_{4}+h_{2})u_{1}+h_{6}}\right]\right).\tag{16}$
$u_1$ 的选择在第四节中会详细介绍。

(a)原始图像；(b)通过单应$H$扭曲的变换；(c)C^0扭曲变换；(d)C^1扭曲变换

扭曲变换可以保证连续性( $C^0$ )，但是在分界线 $u=u_1$ 处，会有一个突变值，为减少这一人为因素的影响，在 $R_L$ 区域不是只用一个单应变换，而是引入缓冲区域让 $H$ 平缓地过渡到 $S$ ，使其拥有连续可微的性质。

$C^1$ 外推法

为了形成 $C^1$ 扭曲，作者提出进一步将 $R_L$ 划分为 $R_T=\{(u,v)|u_1<u<u_2\}$ 和 $R_S=\{(u,v)|u_2<u\}$ ，根据像素点所在区域，采用不同的扭曲变换：
$w(u, v)=\left\{\matrix{ H(u, v) & {\rm if}\ (u, v)\in R_{H}\cr T(u, v) & {\rm if}\ (u, v)\in R_{T}.\cr S(u, v) & {\rm if}\ (u, v)\in R_{S}}\right.\tag{17}$
其中 $T(u,v)$ 为 $R_T$ 区域的扭曲函数，介于 $H(u,v)$ 和 $S(u,v)$ 之间。 $S(u,v)$ 为 $R_S$ 区域的相似变换，参数化相似变换为：
$S(u, v)=\left[\matrix{{S_{x}(u, v)}\cr {S_{y}(u, v)}}\right]=\left[\matrix{ \alpha & -\beta\cr \beta & \alpha}\right]\left[\matrix{ u\cr v}\right]+\left[\matrix{ t_{x}\cr t_{y}}\right]. \tag{18}$
给定投影变换 $H$ ，可以首先确定 $u_1$ 和 $u_2$ 然后利用式(17)构建变换 $w$ 。

由性质3可知， $H_x$ 和 $H_y$ 都构成规则表面，由式(18)可知， $S_x$ 和 $S_y$ 也构成规则表面，这要求 $T_x(u,v)$ 和 $T_y(u,v)$ 也要构成规则表面，因此我们假设 $T(u,v)$ 有以下形式：
$T(u, v)=\left[\matrix{T_{x}(u, v)\cr T_{y}(u, v)}\right]=\left[\matrix{f_{x}(u)\cr f_{y}(u)}\right] +\left[\matrix{g_{x}(u)\cr g_{y}(u)}\right]. \tag{19}$
为了确定扭曲 $w$ ，需要确定的参数有 $S$ 中的 $\alpha$ 、 $\beta$ 、 $t_x$ 、 $t_y$ ，以及 $T$ 中的 $f_x$ 、 $f_y$ 、 $g_x$ 、 $g_y$ ，夹着这四个函数都是 $u$ 的多项式，由式(9,10,18,19)代入式(17)，可以得到
$w(u, v)=\left[\matrix{w_{x}(u, v)\cr w_{y}(u, v)}\right]=\left[\matrix{F_{x}(u)v+G_{x}(u)\cr F_{y}(u)v+G_{y}(u)}\right],\tag{20}$
其中
$\eqalignno{&F_{x}(u)=\left\{\matrix{ {h_2\over 1-cu} & {\rm if}\ u\leq u_{1}\qquad\ \ \cr f_{x}(u) & {\rm if}\ u_{1} < u < u_{2}\, \cr -\beta & {\rm if}\ u_{2}\leq u\qquad}\right.&\hbox{(21)}\cr &G_{x}(u)=\left\{\matrix{ {h_{1}u+h_{3}\over 1-cu} & {\rm if}\ u\leq u_{1}\qquad\ \cr g_{x}(u) & {\rm if}\ u_{1} < u < u_{2}\cr \alpha u+t_{x} & {\rm if}\ u_{2}\leq u\qquad}\right.&\hbox{(22)}}$
$F_y$ 和 $G_y$ 可以用相同形式表示。

接下来需要找到 $\alpha$ 、 $\beta$ 、 $t_x$ 、 $t_y$ 、 $f_x$ 、 $f_y$ 、 $g_x$ 、 $g_y$ 等参数，这就要求 $F_x(u)$ 和 $G_x(u)$ 是连续的，以 $F_x(u)$ 为例，由式(21)， $C^1$ 连续有：
$\eqalignno{&f_{x}(u_{1})={h_2\over 1-cu_{1}}\qquad (F_{x}(u_{1}) {\rm is}\ \ {\rm continuous}) &\hbox{(23)}\cr &f_{x}^{\prime}(u_{1})={ch_2\over (1-cu_{1})^{2}}\quad (F_{x}^{\prime}(u_{1}) \ {\rm is} \ {\rm continuous}) &\hbox{(24)}\cr & f_{x}(u_{2})=-\beta\qquad\qquad (F_{x}(u_{2}) \ {\rm is} \ {\rm continuous}) &\hbox{(25)}\cr &f_{x}^{\prime}(u_{2})=0\qquad\qquad\quad (F_{x}^{\prime}(u_{2}) \ {\rm is} \ {\rm continuous}) &\hbox{(26)}}$
故可以求得 $f_x$ 和 $\beta$ ，同样可以利用 $F_y(u)$ 计算得到 $f_y$ 和 $\alpha$ ，用相同方法，可以由 $G_x$ 和 $G_y$ 求得其他参数。

到此，就可以根据一个单应矩阵 $H$ 将待拼接图像划分为不同区域，采用不同扭曲变换获得连续性，采用一半投影变换一半相似变换的方式进行拼接。

Ⅳ 图像拼接

形状保留图像拼接

给定两幅图像 $I_1$ 和 $I_2$ ，假设两幅图由 $H_{12}$ 相关，即将 $(x_2,y_2)$ 映射到 $(x_1,y_1)$ 上，若 $I_2$ 通过 $w$ 扭曲，则 $I_1$ 通过 $w\cdot H_{12}^{-1}$ 扭曲，当 $w=H_{12}$ 时，相当于固定 $I_1$ 将 $I_2$ 扭曲，当 $w=I$ 时，相当于固定 $I_2$ 将 $I_1$ 扭曲。

为了使拼接图像尽可能保持视角不变，我们希望扭曲变换 $w$ 使图像进行尽可能多的相似变换。为了实现这一想法，令 $I_i$ 的函数 $E_i$ 表示扭曲矩阵 $w_i$ 的分化，即
$\eqalignno{&E_{i}(u_{1}, u_{2})\cr & =\min_{a_{i}, b_{i}}\iint_{(x, y)\in\Omega_{i}}\left\Vert J_{i}(x, y;u_{1}, u_{2})-\left[\matrix{ a_{i} & -b_{i}\cr b_{i} & a_{i}}\right]\right\Vert_{F}^{2}dxdy &\hbox{(27)}}$
其中 $\Omega_i$ 为 $I_i$ 的矩形区域， $J_{i}(x, y;u_{1}, u_{2})$ 为 $w_i$ 在 $(x,y)$ 处的雅可比矩阵，由于 $u_1$ 和 $u_2$ 是 $w_i$ 的参数，因此雅可比矩阵由 $(u_1,u_2)$ 决定。

当拼接两幅图像时，总能量
$E(u_1,u_2)=E_1(u_1,u_2)+E_2(u_1,u_2)$
能量函数是非线性的，作者采用均匀采用对其进行优化。

对于图像序列 $\{I_1,I_2,\cdots,I_n\}$ ，使用群组拼接策略找到所有图像的对应关系。给每对相邻图像找单应 $H_{i,i+1}$ ，并计算出第一张图和最后一张图的 $H_{1,n}$ ，用于产生扭曲 $w$ ， $I_n$ 由 $w$ 扭曲，而其余图像由 $w\cdot H_{in}^{-1}$ 扭曲。

使用本文的warp分析三幅图像之间的几何关系。

结合APAP扭曲

所提方法关注保留视角一致但不关注对齐的正确性。然而，可以和对齐正确性方法进行结合来获得两者的优点。APAP是其中最先进的一种方式。一种方法就是用移动直接线性变换估计的APAP扭曲取代投影变换。然而这就为估计 $u_1$ 和 $u_2$ 带来了困难。作者提出了一个简单的方案结合APAP和所提方法。

（a）本文的扭曲可以解释为一个投影扭曲，然后是一个后扭曲进行细化。（b）在apap warp之后应用我们的post warp进行集成。（c）使用apap+本文warp的两个图像之间的几何关系。

投影变换 $H$ 后引入 $w\cdot H^{-1}$ 表示为上图(a)，后扭曲可以认为是对扭曲的矫正，只作用于 $R_L$ 区域。尽管APAP是局部变换，但在全局也是用的投影变换，因此，可以先用APAP进行局部扭曲 $w_{APAP}$ ，再施加后扭曲 $w\cdot H^{-1}$ ，以进行调整。总的来说，结合APAP的扭曲函数可以表示为：
$w\circ H^{-1}\circ w_{{\rm AP}{\rm AP}}.\tag{28}$

Ⅴ 实验

结合本文方法和其他方法进行对比

多张图像的拼接效果

APAP方法与本文方法的结合

Ⅵ 结论

本文提出了一种新颖的图像拼接扭曲。我们的扭曲在保持其原始视角的同时全局对齐图像。与 APAP 扭曲相结合时，结果可提供准确的对齐、更少的失真和多视角视图。我们的参数选择程序目前没有考虑图像内容（例如，线特征）。因此，当场景充满线条结构时，所选参数对于减少线条失真可能无效。将来，我们还想探索将我们的扭曲应用于不同应用程序（例如视图变形）的可能性。

SPHP：形状保留半投影图像拼接