有许多用于特征检测和提取的算法，我们将会对其中大部分进行介绍。OpenCV最常使用的特征检测和提取算法有：

Harris：该算法用于检测角点；
SIFT：该算法用于检测斑点；
SURF：该算法用于检测角点；
FAST：该算法用于检测角点；
BRIEF：该算法用于检测斑点；
ORB：该算法代表带方向的FAST算法与具有旋转不变性的BRIEF算法；

通过以下方法进行特征匹配：

暴力(Brute-Force)匹配法；
基于FLANN匹配法；
可以采用单应性进行空间验证。

特征提取算法比较

算法效果比较博文

计算速度： ORB>>SURF>>SIFT（各差一个量级）
旋转鲁棒性： SURF>ORB~SIFT（表示差不多）
模糊鲁棒性： SURF>ORB~SIFT
尺度变换鲁棒性： SURF>SIFT>ORB（ORB并不具备尺度变换性）

基本概念

特征向量

用于表示和量化图像的数字列表，简单理解成将图片转化为一个数字列表表示。特征向量中用来描述图片的各种属性的向量称为特征矢量。

特征描述符（特征描述子）Descriptor

参考
是一种算法和方法，输入1个图像，返回多个特征向量（主要用来处理图像的局部，往往会把多个特征向量组成一个一维的向量）。主要用于图像匹配（视觉检测），匹配图像中的物品。

SIFT特征算法与DoG尺度空间

SIFT论文
 原理
 opencv官网解释
实质是在不同的尺度空间上查找关键点(特征点)，并计算出关键点的方向。SIFT所查找到的关键点是一些十分突出，不会因光照，仿射变换和噪音等因素而变化的点，如角点、边缘点、暗区的亮点及亮区的暗点等。

SIFT

尺度不变特征转换(Scale-invariant feature transform或SIFT)是一种电脑视觉的算法用来侦测与描述影像中的局部性特征，它在空间尺度中寻找极值点，并提取出其位置、尺度、旋转不变量。
其应用范围包含物体辨识、机器人地图感知与导航、影像缝合、3D模型建立、手势辨识、影像追踪和动作比对。

尺度空间

对现实中物体的描述一定要在一个十分重要的前提下进行，这个前提就是对自然界建模时的尺度。当用一个机器视觉系统分析未知场景时，计算机没有办法预先知道图像中物体的尺度，因此我们需要同时考虑图像在多尺度下的描述，获知感兴趣物体的最佳尺度。图像的尺度空间表达指的是图像的所有尺度下的描述。

DoG尺度空间

DoG空间极值点

特征点方向归一化

计算特征点描述子

SIFT算法分解为如下四步：

尺度空间极值检测：搜索所有尺度上的图像位置。通过高斯微分函数来识别潜在的对于尺度和旋转不变的兴趣点。
关键点定位：在每个候选的位置上，通过一个拟合精细的模型来确定位置和尺度。关键点的选择依据于它们的稳定程度。
方向确定：基于图像局部的梯度方向，分配给每个关键点位置一个或多个方向。所有后面的对图像数据的操作都相对于关键点的方向、尺度和位置进行变换，从而提供对于这些变换的不变性。
关键点描述：在每个关键点周围的邻域内，在选定的尺度上测量图像局部的梯度。这些梯度被变换成一种表示，这种表示允许比较大的局部形状的变形和光照变化。

sift = cv2.xfeatures2d.SIFT_create()
'''
SIFT_create([, nfeatures[, nOctaveLayers[, contrastThreshold[, edgeThreshold[, sigma]]]]]) -> retval
    .   @param nfeatures The number of best features to retain. The features are ranked by their scores
    .   (measured in SIFT algorithm as the local contrast)
    .   
    .   @param nOctaveLayers The number of layers in each octave. 3 is the value used in D. Lowe paper. The
    .   number of octaves is computed automatically from the image resolution.
    .   
    .   @param contrastThreshold The contrast threshold used to filter out weak features in semi-uniform
    .   (low-contrast) regions. The larger the threshold, the less features are produced by the detector.
    .   
    .   @param edgeThreshold The threshold used to filter out edge-like features. Note that the its meaning
    .   is different from the contrastThreshold, i.e. the larger the edgeThreshold, the less features are
    .   filtered out (more features are retained).
    .   
    .   @param sigma The sigma of the Gaussian applied to the input image at the octave \#0. If your image
    .   is captured with a weak camera with soft lenses, you might want to reduce the number.
'''
keypoints, descriptor = sift.detectAndCompute(img_gray, None)
'''
        detectAndCompute(image, mask[, descriptors[, useProvidedKeypoints]]) -> keypoints, descriptors
        .   Detects keypoints and computes the descriptors
        算法分成了两步，第一步特征提取，第二步计算描述符
'''

'''
keypoints数据结构
pt, 坐标
size, 特征直径
angle, 特征方向
response, 特征强度
octave,该特征在金字塔的第几层被找到
class_id
'''

KeyPoint数据结构解析

img = cv2.imread('laugh.jpg')
img_large = cv2.imread('laugh_large.jpg')
gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
gray_large = cv2.cvtColor(img_large, cv2.COLOR_BGR2GRAY)
sift = cv2.xfeatures2d.SIFT_create()
keypoints, descriptor = sift.detectAndCompute(gray, None)
keypoints2, descriptor2 = sift.detectAndCompute(gray_large, None)
img = cv2.drawKeypoints(image=img, outImage=img, keypoints=keypoints, flags=cv2.DRAW_MATCHES_FLAGS_DRAW_RICH_KEYPOINTS,
                        color=(0, 0, 255))
img_large = cv2.drawKeypoints(image=img_large, outImage=img_large, keypoints=keypoints2,
                              flags=cv2.DRAW_MATCHES_FLAGS_DRAW_RICH_KEYPOINTS,
                              color=(0, 0, 255))

cv2.imshow('sift', img)
cv2.imshow('sift_large', img_large)

SIFT效果

SURF算法和Fast Hessian矩阵

SURF论文
 原理
 opencv官网解释
SURF是SIFT的加速版，它善于处理具有模糊和旋转的图像，但是不善于处理视角变化和光照变化。在SIFT中使用DoG对LoG进行近似，而在SURF中使用盒子滤波器对LoG进行近似，这样就可以使用积分图像了（计算图像中某个窗口内所有像素和时，计算量的大小与窗口大小无关）。总之，SURF最大的特点在于采用了Haar特征以及积分图像的概念，大大加快了程序的运行效率。

surf = cv2.xfeatures2d.SURF_create(hessian_threshold)
# hessian_threshold 保留的特征值越少，越强大的特征值才会被保留，需要根据具体图像进行调整

img = cv2.imread("laugh.jpg")
gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)

alg = cv2.xfeatures2d.SURF_create(10000)
keypoints, descriptor = alg.detectAndCompute(gray, None)
img = cv2.drawKeypoints(img, keypoints, img, (0, 0, 255), cv2.DRAW_MATCHES_FLAGS_DRAW_RICH_KEYPOINTS)

cv2.imshow('hessian_10000', img)

SURF - hessan阈值效果对比

SURF - 不同尺度效果对比

注意事项

因为专利原因，OpenCV3.3开始不再免费开放SIFT\SURF，需要免费的请使用ORB算法

ORB特征算法

ORB算法综合了FAST角点检测算法和BRIEFF描述符。

FAST特征检测

算法原理
 opencv官方文档
FAST只是一种特征点检测算法，并不涉及特征点的特征描述。

fast = cv2.FastFeatureDetector_create(threshold=10)

img = cv2.imread("laugh.jpg", 0)
fast = cv2.FastFeatureDetector_create()
keypoints = fast.detect(img, None)
img = cv2.drawKeypoints(img, keypoints, None, (0, 0, 255))

FAST - threshold100效果图

FAST - 默认threshold(10)效果图

BRIEF特征描述符

论文
 opencv官方文档
 中文版
Brief是Binary Robust Independent Elementary Features的缩写。这个特征描述子是由EPFL的Calonder在ECCV2010上提出的。主要思路就是在特征点附近随机选取若干点对，将这些点对的灰度值的大小，组合成一个二进制串，并将这个二进制串作为该特征点的特征描述子。文章同样提到，在此之前，需要选取合适的gaussian kernel对图像做平滑处理。

缺点

1：不具备旋转不变性。
2：对噪声敏感
3：不具备尺度不变性。

img = cv2.imread("laugh.jpg", 0)
# Initiate FAST detector
star = cv2.xfeatures2d.StarDetector_create()
# Initiate BRIEF extractor
brief = cv2.xfeatures2d.BriefDescriptorExtractor_create()
# find the keypoints with STAR
kp = star.detect(img, None)
# compute the descriptors with BRIEF
kp, des = brief.compute(img, kp)
print(brief.descriptorSize())
print(des.shape)

ORB

ORB论文
 OpenCV官方文档

ORB采用了FAST作为特征点检测算子，特征点的主方向是通过矩（moment）计算而来解决了BRIEF不具备旋转不变性的问题。
ORB还做了这样的改进，不再使用pixel-pair，而是使用9×9的patch-pair，也就是说，对比patch的像素值之和，解决了BRIEF对噪声敏感的问题。
关于计算速度：
ORB是sift的100倍，是surf的10倍。

import cv2

img = cv2.imread("A.jpg", 0)
orb = cv2.ORB_create()
kp, des = orb.detectAndCompute(img, None)
# len(kp) : 485
# des.shape:  (485, 32)

ORB效果

附：相关知识

特征提取方法

直方图

对图片数据、特征分布的一种统计
对数据空间(bin)进行量化

聚类

Kmeans

颜色特征

量化颜色直方图，适用于均匀分布的颜色空间，如RGB，HSV等。
统计落在量化单元上的像素数量，bin内的像素由bin中心的颜色代表
聚类颜色直方图，适用于非均匀分布的颜色空间，如Lab等

几何特征

边缘：尺度问题->不同的标准差 $\sigma$ 捕捉到不同尺度的边缘
斑点 Blob：二阶高斯导数滤波LoG

LoG图找零点就是边缘

LoG图找极值点就是斑点

DoG：LoG近似于2个不同尺度的高斯差分，计算量大大减小

蓝色是LoG，黑色是DoG

关键点(keypoint)：不同视角图片之间的映射，图片配准、拼接、运动跟踪、物体识别、机器人导航、3D重建

纹理特征

HOG方向梯度直方图
LBP局部二值模式
Gabor滤波器组：多尺度多方向。原理：频域中是加窗傅里叶变换，时域中是一个高斯核和正弦平面波的乘积

三尺度、八方向

局部特征

SIFT\SURF

OpenCV+Python特征提取算法与图像描述符之SIFT / SURF / ORB