卷积神经网络CNN

一、卷积神经网络要解决的问题

传统的BP神经网络与DNN(深度神经网络)不同层神经元的连接方式是“全连接”,也就是这一次层的一个神经元的输入,会接受上一次每一个神经元的输出,这种方式即为“全连接神经网络”。

这样的连接方式有一个的缺点:因为权值与偏置等参数量大,导致训练收敛十分缓慢。特别是对于图像这样的训练数据,动不动就是数以百万的像素,理论上虽然可以收敛,但你可能得等上N年才有结果,而且它的泛化性也会变差。

二、卷积神经网络的特点

卷积神经网络CNN就是为了解决这个问题而生,它的核心特点有三个

2.1局部感受野

一张图像,我们实际上并不需要让每个神经元都接受整个图片的信息,而是让不同区域的神经元对应一整张图片的不同局部,最后只要再把局部信息整合到一起就可以了。这样就相当于在神经元最初的输入层实现了一次降维

这有点像我们的眼镜,左右眼各负责看到一部分视野,最后只要通过神经把视野整合到一起,我们看到的依旧是一个相对完整的视野

2.2卷积层的权值共享

这可以说是卷积神经网络的最最最重要也是它牛逼之处,刚刚我们说到全连接神经网络最大的问题就是权值参数太多,而卷积神经网络的卷积层,不同神经元的权值是共享的,这使得整个神经网络的参数大大减小,提高了整个网络的训练性能,具体的实现方式我们一会再说

2.3池化层(Pooling Layer)

简单理解可以看作是对图像的一次“有损压缩”,因为在实际的训练中,我们并不需要对图像中的每一个细节都进行特征提取和训练,所以池化的作用就是更进一步的信息抽象和特征提取,当然也会减小数据的处理量

三、卷积神经网络核心概念

我们先来来看看所谓的卷积到底是什么

3.1卷积核

卷积核表达式: F(x)=wx+b

简单认识一下卷积到底是怎么实现特征提取的。假设现在输入一个图片作为x(3x3像素),一个简单的卷积核w=【1,1,1,1,1,1,1,1,1】,b为0,那么这个图像经过一次卷积后,实现的效果如图

卷积过程

这样一个3x3的图像,通过卷积后就被压缩得到一个点“6”,我们就把这个点存储在卷积层的空间里(即 Feature map)。

当然在实际的训练中,卷积核的w与b也是被随机赋值并通过迭代法学出来的。而且在卷积后往往还会跟上一个激励函数如ReLU或Sigmoid。

3.2步长

刚刚我们所说的是最为简化的图像(3x3),而卷积的工作方式,我们理解为“扫描”,加入一个图像是9x9像素,而卷积核理解为一个3x3的方框,那么一次卷积得到一个数字,而步长即为卷积下次移动扫描挪动的步数。

假设stride=1,那么每次就只滑动一个单位,它主要影响卷积对数据扫描的细密程度,步长越大,当然扫描的越粗糙,通常情况下Stride都会取“1”

3.3卷积滤波器与卷积层

卷积滤波器通常由一个卷积核和激励函数构成,一个局部图像经过卷积滤波器提取特征后会形成一个Feature map,该平面上所有的神经元权值共享

3.4Pooling Layer(池化层)

池化层是在图像经过卷积处理后的又一次有效特征提取和模糊处理。它和“下采样”实际上是一个意思。为什么要在卷积特征提取过后,还要加入池化层呢?

我们来看下两种不同的卷积过程:


卷积过程(加入池化)

第一种卷积的“stride=2”,一步可以同时完成特征提取和信息压缩,但这样会导致部分有效信息的丢失

那么我们可以采取两步走的战略,先用卷积确保特征提取完整,再用池化层对无效信息进行压缩。这就可以在保证信息处理量减少的同时保留有效特征信息

常见的池化方式有两种,一种叫Max pooling(最大化),一种为Mean pooling(平均),它们都是对前面输入的数据做一次处理,假设我们用的是2X2的Pooling Filter(池化滤波器)

最大值池化过程

对输入的数据进行一次取最大值处理

最大值池化过程

平均值池化过程

对输入的数据进行一次取平均值处理

平均值池化过程

池化层还有另一个作用就是防止过拟合,想想过拟合的原因就是模型过多开始学习数据中的细节导致其泛化性下降,而这样的处理刚好可以去除掉不怎么重要的细节,帮助模型更好地学习更为抽象的特征

四、参数减少和共享权值

下面我们来看看,CNN到底是以何种方式来完成权值共享的,要知道这可是它最大的卖点啊!

1.全连接神经网络

没有对比就没有伤害,不妨先来看看全连接的神经网络处理图像时候的一番景象!

这密密麻麻交错纵横的连接线,还仅仅是连接到隐含层的一个神经元,连接次数已经红字标出,不要太多。

2.“局部野”神经网络效果图

先声明本身是没有这个什么“局部野”神经网络的,只不过为了能更好地一步一步去理解我们先前说的概念

发现了没,通过不同神经元去接受局部图像的信息,这样它们明显不会有那么多的权值参数了!但这还不够

3.卷积层

如果我们在这个基础上,加上卷积滤波和激励函数的处理,最后会得到一层Feature map,在这个层中神经元之间的权值参数将会共享,完全一致哦

到这里你应该已经体会到卷积神经网络思想的核心所在:通过局部感受野、卷积层权值共享的方法,大大降低了网络参数的数量,减小网络的空间复杂程度。这就解决了我们最开始引出的问题,面对图像这样数以百万像素维度的数据,全连接神经网络无法有效对其进行处理,而卷积神经网络则刚好是对症下药!

当然在整个神经网络的宏观结构上,不同局部对应不同的卷积滤波器,以提取不同的特征。

 五、CNN网络架构及训练过程

1.LeNet-5CNN的网络模型架构

典型卷积神经网络结构

可以看出来,这是一个识别字母的神经网络(大写的“A”有木有)

首先经过一次卷积滤波处理,得到了C1(卷积层 Feature map),然后又经过了一次下采样(池化)处理得到了S2(下采样层),之后又是一次卷积滤波得到C3卷积层,依次处理至途中的C5位全连接层,至此卷积的过程结束,被抽象的特征输入至传统的全连接神经网络,之后就又是熟悉的节奏了。

2.训练过程(有监督学习)

向前传播阶段

选取训练样本(x,y),将x输入网络中

随机初始化权值(一般情况下选取小数),信息从输入层经过一层一层的特征提取和转换,最后到达输出层,得到输出结果

反向传播阶段

输出结果与理想结果对比,计算全局性误差(即我们之前说的Loss)

得到的误差反向传递给不同层的神经元,按照我们之前所说的“迭代法”调整权值和偏重,寻找全局性最优的结果

 六、卷积神经网络的应用特点

卷积神经网络目前最广泛的应用场景为图像识别领域,其中一个原因就是我们最初提到的,权值共享使得网络在处理图像的时候大大减少了参数数量,使得网络的训练速度更快。

当然最重要的还不止于此,我们都知道图像识别一个很大的问题就是如果图像中有一些损坏、缺失或变形的话,那么很可能干扰图像的识别结果。

卷积神经网络的卷积层和池化层在图像的本质都是提取更为抽象的特征,简单理解就是“模糊化”压缩处理,把一个图像中不那么重要的细节去掉,找到最为重要的特征进行学习。

那么图像中小细节的变化,反应在神经网络中也就是一些特征向量的变化,但这这个变化在卷积和池化处理后,对产生的结果影响几乎是微乎其微的,换句话说在CNN看来,这两张图片几乎就完全是“一张图片”了

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 155,958评论 4 358
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 66,179评论 1 286
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 105,792评论 0 237
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 43,409评论 0 202
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 51,723评论 3 285
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 40,174评论 1 204
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 31,543评论 2 306
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 30,270评论 0 194
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 33,899评论 1 236
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 30,235评论 2 240
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 31,771评论 1 255
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 28,139评论 2 249
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 32,688评论 3 228
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 25,936评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,646评论 0 192
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 35,194评论 2 265
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 35,145评论 2 258

推荐阅读更多精彩内容

  • 一、卷积神经网络结构 卷积神经网络(Convolutional Neural Network,CNN),一般地,C...
    北山学者阅读 751评论 0 2
  • 前言 在七月初七情人节,牛郎织女相见的一天,我终于学习了CNN(来自CS231n),感觉感触良多,所以赶快记下来,...
    WZFish0408阅读 18,304评论 0 8
  • 上联:老父康寿贤妻勤俭家兴旺 下联:女婿幸福爱孙好学心喜欢
    wujunhui阅读 246评论 0 0
  • 相信许多女人,美丽的或不美丽的,不太年轻的或太不年轻的都幻想过这样一个场景——当紧张而忙碌的生活将疲惫和无奈涂抹到...
    陶皮阅读 320评论 3 5
  • 洛杉矶(Los Angeles),位于美国加利福尼亚州西南部。是美国第二大城市,也是美国西部最大的城市,常被称为“...
    小强_5941阅读 636评论 1 0