机器学习实战——LBP特征提取

全篇概述:

LBP(Local Binary Pattern)算法

是一种描述图像特征像素点与各个像素点之间的灰度关系的局部特征的非参数算法,同时也是一张高效的纹理描述算法。

纹理是物体表面的自然特性,它描述图像像素点与图像领域之间的灰度空间的分布关系,不会因为光照强弱而改变图像的视觉变化。

LBP算法首次提出于1994年,主要是使用8邻域位置的局部关系,具有灰度不变性;随后在2002年提出了其改进版《Multiresolution gray-scale and rotation invariant texture classification with local binary patterns》Timo Ojala, Matti PietikaÈ inen,2002,主要引入了圆形模式、旋转不变性、和等价模式。

所以在下面我们将按照如下顺序介绍LBP特征:灰度不变性的基本LBP,灰度不变性的圆形LBP,旋转不变性的LBP,等价LBP,最后再继续进行我们上一次的实验,用LBP特征提取+KNN算法实现手写数字识别问题。

灰度不变性基本LBP算法:

** 分析****:**

基本的LBP算法一般被定义为一个33的纹理单元,如图1,其中间的像素点灰度值为Pc,其他相邻的8个像素点灰度值分别为P0,P1,P2,P3,P4,P5,P6,P7,以该纹理单位的中心像素点的灰度值为阈值,若其余相邻的8个像素点的灰度值大于中心像素点灰度值的阈值,则该像素点的编码值为1,小于阈值的时候取编码值为0.*

image

** 计算****:**

对于一个33的纹理单元,LBP的计算过程为:*

image

为了得到各个像素点的编码值,则为每个S(Pi-Pc)分配权值2^i,然后将编码值连接成一个二进制值然后再转化成一个十进制的值,然后用现在的十进制值代替原来中心点的阈值,再对这个十进制进行计算,计算出的结果就是LBP算法的值,计算公式为:

image

** 例子****:**

****下图为一个LBP算法的计算例子:****

image

该纹理单元的中心灰度值(阈值)为85,其余8个相邻的灰度值分别为:90、74、63、134、91、83、99、103、90。根据这个阈值计算的定理进行计算,通过阈值计算后,根据图中箭头所指的方向可以得到一个局部二进制的模式,即:LBP模式=1101001,且LBP=217,。通过以上LBP算法的计算例子可以看出LBP值仅由中心像素点灰度值和相邻八个像素点的灰度值决定,LBP特征即表示了其中心像素点的特征,其值的计算还需要和周围的像素点计算完成,所以,LBP特征与周围有很大的关系,它包含了图像点,又包含了边缘和局部的特征分布信息。

灰度不变性的圆形LBP算法:

从上面的计算我们可以看出,基本的LBP算法的计算仅包含其相邻的八个像素点,半径小,覆盖范围很小,这种方式的表达能力相对较小.

所以,Ojala等人提出一种改进的方法,将原来的33的方形九个像素点的计算模式,改成了任一点即半径的圆形模式,这样表达方式就不受限制了,而且原始的正方形领域的像素点空间被圆形领域所代替。这种圆形领域的算法的半径R可以任意的改变,且半径R的像素点个数也不固定。*

改进后的LBP算法通常用符号LBP(p,b)表达,R为圆形半径,P代表在该圆形范畴内的P个不同像素点。

下图为****几种常见的不同半径和不同像素点的LBP算法的示意图:

image

为了对LBP算子进行表示,用函数E表示为中心像素和相邻像素点的联合分布函数:

image

其中,gr表示图像中某个中心像素点的灰度值,g0~gk-1表示与中心像素点相邻的周围的 像素点,其中K=0,1,2~k-1。每个E函数其中心像素点和相邻像素点所围成的圆的半径可以不同,其相邻像素点的数量也可以不同。****一个中心像素点周围的其它像素点gk的坐标可以表示成如式1所示:

image

其中主要注意的是,gr的坐标计算出来之后,可能不是整数,此时一般的解决方法是采用双线性内插值求得该像素点的灰度gr。

假设周围每一点和中心点的差值与中心点是相互独立的,如下式所示:

image

假设中心像素点的独立性可能有时会造成信息的丢失,但是,其对后续的结果影响很小。而且,在影响结果很小的前提下,以丢失少量信息的代价得到对局部纹理描述的平移不变性,结果时可以接受的、而且这种相对差值表示的纹理特征与表示亮度的中心像素点关系不是很大,所以可以忽略,如式3所示,联合分布表达式为:

image

由于最终想要得到的是其二值特征,即知道差值的结果符号即可以,这样结果就不受到到光照的影响,则可以表示成公式4,

image

通过计算得到的二值,需要给每个S赋一个权值,再对其进行求和,即可得到此中心像素点的局部纹理特征值,即LBPk,r

image

通过上述的计算过程可知,圆形LBP算法与基本LBP算法基本原理相同,但是它的表达方式更灵活,有很好的鲁棒性,表示范围与表达能力更强。

旋转不变性的LBP算法:

通过上面的介绍,我们不难发现1和2两种LBP算法是具有灰度不变性的,在2002年的论文的,除了灰度不变性,作者又为LBP引入了旋转不变性与等价模式,它是怎么实现的呢?

对于一个选定的P,LBP算法将产生2^P个不同的输出值,比如P=8时,值就有256个,这256个模式中每拿出一个都围绕中心点转动,那么在多次转动的过程中,会产生多种不同的结果,而这些结果中值最小的那个模式就是选择不变的二值模式了。比如:

image

在上面的图中说明的是,图中的这8种模式,都有相同的旋转不变模式,就是十进制为15的那个值,即00001111。那么对256种模式都做这种旋转,得到最小的数作为这种模式的旋转不变模式,旋转不变模式一共有36种,如下图所示:

image

那么为什么最后又36种呢?我们写一段暴力枚举的代码试一试就好了:

****代码****:****

image
image

其中0-255的数字每一个转成二进制后分别转8次,求出最小的十进制数,作为哈希表的索引,最后哈希表中1的个数就是旋转不变的模式种类。

等价LBP算法:

所谓等价模式是通过记录跳变方式来进一步降低LBP特征维数,“等价模式”定义为:当某个LBP所对应的循环二进制数从0到1或从1到0最多有两次跳变时,该类型保留;跳变次数超过2次时,直接不要。等价模式就做了这件事,把P=8时的256种灰度不变性模式压缩为58种,把把P=8时的36种旋转不变性模式压缩为9种。下面我们看一下58和9是怎么来的:

** 首先256压缩为58:**

** 当P=8时,P(P-1)+2=58。其中P(P-1)为跳变2次的情况,而2位跳变为0次的情况,并没有一种情况是发生了一次跳变。**

** 其次36压缩为9:**

** 直接贴一下论文的原话吧:**

注意上面那张36种模式图,其中00000000与11111111是跳变为0的情况,除了这两个,图中第一列的其他7个都是跳变为2,最后剩下的27个跳变都超过了2,直接丢弃,所以2+7=9。

LBP +KNN实现手写数字识别:

在上一次HOG特征的文章中,我们设计了一个小实验,现在我们还是用上次准备的数据,根据LBP特征提取算法+KNN分类器实现一个手写数字识别的问题,在这之前需要说明一点的是,上面的内容中我们一直在阐述各种LBP算法,那么LBP的特征到底如何构建呢?

在图中构建不重叠cell单元,并在每一个cell中构建灰度直方图特征,最后把每个cell的灰度直方图特征做串接组合,构建出整张图的特征,在这里就可以解释为什么等价模式可以降维了,我们还是拿P=8举例,假设一张图构建了160个cell,那么各个LBP算法的特征维数为:

灰度不变LBP: 256160*

旋转不变LBP: 36160*

等价灰度不变LBP: 58160*

等价旋转不变LBP: 9160*

最后我们选择等价旋转不变模式(Num_cell=25)跑个实验,并贴出上次实验的结果:

image

在上面的实验中,由于数据图只有2020,单元尺寸为4时,单元个数只有25个,所以在等价旋转不变LBP算法中,特征维度只有925,等价模式本来为了降维而生,但是本身就不高的维度降维后,丢失了很多特征信息,这可能是LBP(9)只有86.7%的准确率的重要原因。总结一下,上面的实验结果只是一个很简单的验证,并不能说明LBP(9)算法不好,因为分类结果是特征、分类器、数据特点等等因素共同决定的,讲道理,没有不好的算法,只有合适与不合适!**

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 158,847评论 4 362
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 67,208评论 1 292
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 108,587评论 0 243
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 43,942评论 0 205
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 52,332评论 3 287
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 40,587评论 1 218
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 31,853评论 2 312
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 30,568评论 0 198
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 34,273评论 1 242
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 30,542评论 2 246
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 32,033评论 1 260
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 28,373评论 2 253
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 33,031评论 3 236
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 26,073评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,830评论 0 195
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 35,628评论 2 274
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 35,537评论 2 269

推荐阅读更多精彩内容