Exploiting the Circulant Structure of Tracking-by-detection with Kernels——探索核化的tracking-by-detection算法的循环结构

1.论文相关

论文题目：Exploiting the Circulant Structure of Tracking-by-detection with Kernels
作者：J Henriques，o F， R Caseiro， P Martins， J Batista
ECCV，2012

2.论文内容

2.1摘要

最近在跟踪系统中使用判别式分类器比较火，原因在于它们在目标检测领域取得了成功。这些分类器通过跟踪来收集样本，在线训练分类器。不幸的是，大规模的采样会变成一种计算负担，这会直接影响跟踪的实时性要求。另一方面，如果限制样本的数量的话就会牺牲性能。
有趣的是，我们观察到，随着我们增加越来越多的样本，我们的问题会变成循环结构。使用循环结构已经建立起的完备的理论，我们使用傅立叶分析，通过傅立叶变换，使得极其快速和检测成为了可能。这个操作在核机器的对偶空间完成的和在线性分类器上一样的快。我们得出了若干使用核函数的训练和检测的封闭解，包括高斯核函数和多项式核函数。最后得到的跟踪器可以和时下最优的算法相比，而且仅仅通过几行代码就可以实现，并且以每秒上百帧的速度运行。我们在文章里提供了matlab代码。

2.2引入

跟踪是计算机视觉领域一个很基础的问题，应用很广。无模型跟踪包括在线学习和适应目标的表观特征。
一个非常成功的方法是tracking-by-detection。这直接源于机器学习领域强大的判别性方法的发展和它们在离线检测方面的应用。很多这些算法能够被调整为在线训练形式，这样每次成功的检测都会提供很多关于目标的信息。
几乎所有这些方法都有一个共同点：稀疏采样策略。在每一帧里，目标邻域内的若干样本被收集出来，一种很典型的做法是每个样本就是一个和目标相同大小的子窗口。很明显，这会存在非常多的冗余，因为大部分样本之间都有大量的重叠。这种潜在的结构通常都是被忽略的（意思是作者本论文正是考虑了这些重叠之间的关系）。相反的，大部分方法都是简单的搜集少量样本，因为不这么做的话，算法成本会让人望而却步。
训练数据存在着非常大的冗余，这意味着我们很可能不能有效地探索它的结构。我们提出了一种新的理论框架来解决这个问题。我们证明，对一幅图片收集子窗口包含了一种循环结构。我们与傅立叶分析建立了连接，使用快速傅立叶变换FFT（Fast Fourier Transform）可以不需要通过迭代的方法而快速地整合所有子窗口的信息。

image.png

这种进步使得新算法比普通算法快了好几个数量级。我们还证明，使用核技术在非线性特征上分类可以何在原始图片空间上保持相同的效率。

2.1.1预备工作

这里简单介绍一下tracking-by-detection方法，和一些其他和我们相关的方法。
和其他tracking-by-detection方法一样，我们的贡献集中在表观建模上，而不是运动建模或者搜索策略上。很多方法都是使用已经建立起来的学习算法比如Boosting，SVM，随机森林，并把它们改造为在线训练。最近一些工作成果更多地集中在跟踪的特有问题上，比如训练标签的不确定性。一些比较好的方法是使用半监督学习和多示例学习。在往远了一点说，Struck方法，一种结构化输出空间SVM的在线版本。这和我们的方法有点接近，因为这个框架可以搜索到所有可能的子窗口。然而，事实上，训练样本仍然是有限的。
探讨子窗口冗余这个思想在之前已经被提到过，但是大部分是在检测的上下文中，而不是训练中。Lampert等人使用分支限界法（branch-and-bound）优化方法寻找分类器响应的最大值，而不需要在所有位置检测。（以下都是相关方法，背景介绍）Alexe et al. propose a method that can efficiently find the most similar subwindows between two images, which is a related problem. Although they are useful and provide interesting insights, it may still be desirable to compute the responses at many locations, for example to allow more robust mode seeking or to evaluate the quality of the response. An alternative is to use linear classification in a first stage, and then non-linear classification on promising locations , but the results can be suboptimal.
（这段是说用FFT在傅立叶域计算可以很快算出所有子窗口的相应。MOSSE方法就是效果好，速度惊人）Also closely related are adaptive correlation filters, rooted on classical signal processing. Their response can be evaluated quickly at all subwindows using the Fast Fourier Transform (FFT). It's possible to perform training on the Fourier domain as well, minimizing the error of the filter's response at all subwindows of the training images. The crucial detail is that they never actually iterate over the subwindows. The Minimum Output Sum of Squared Error (MOSSE) filter has been shown to be competitive with the methods outlined before, but at a fraction of the complexity, and runs at impressive speeds.
（这段说相关滤波能不能用核技术。Patnaik和Casasent研究，大部分经典滤波器是不能的，但是他们提出了一个核化的滤波器，这是个理想的方法，能够隐式的在所有子窗口上进行训练）Because they can be interpreted as linear classifiers, there is the question of whether correlation filters can take advantage of the Kernel Trick to classify on richer non-linear feature spaces. Patnaik and Casasent investigate this problem, and show that, given the Fourier representation of an image, many classical filters cannot be kernelized. Instead, they propose a kernelized filter that is trained with a single subwindow (called Kernel SDF). An ideal solution would implicitly train with all subwindows.
我们认为我们提出的方法可以达到这个目的。我们能够设计与相关滤波一样的核分类器，即能够购使用FFT快速地训练和估测目标。

2.1.2贡献

1.一个理论框架，研究使用所有样本来训练的通用分类器。我们把这个方法叫做“密集采样”
2.证明对于unitarily invariant kernels，核矩阵也有循环结构。
3.封闭，快速，精确的解，对于n*n的图片，复杂度为O（N^2 * logN）
4.我们基于上面的思想，提出了一个跟踪器，性能好，实现简单，运行速度快。还提供了源代码。