轻量化分割模型-EDANet

摘要

        作者提出了一个新型的带有非对称卷积的高效密集模型(EDANet),采用非对称卷积结构,并结合了空洞卷积和密集的连接性,从而以较低的计算成本和较小的模型实现了高效率。

        EDANet的一个重要的特点就是非对称的卷积,它将一个标准的二维卷积分解成为两个一维的卷积,也即将nxn的卷积核分解成为nx1和1xn的卷积核.它可以在很小的精度损失的前提下大大的减少参数.作者采用密集连接结构的本质[13],并对其进行修改以进行实时语义分割。尽管DenseNet最初是用来分类的,但是作者实验证明DenseNet从不同网络层收集特征并融合不同尺度信息的能力,从本质上对分割任务有极大的帮助.

        EDANet同样使用了空洞卷积来维持特征图分辨率的同时,扩大感受野,为了使得效率和精度达到平衡,作者没有添加任何额外的解码结构,上下文模块和后处理模块.


模型介绍

EDA模块

        EDA模块的结构是建立在非对称卷积模块的基础上,如图1.它包含了一个点卷积和两个成对的非对称卷积,EDA模块的输出是其输入和输出的concatenation.点卷积层:每个EDA模块的开头都是点卷积,点卷积是一个1x1卷积层,用来减少输入特征的通道,这个可以极大的减少参数量和计算的复杂度.非对称卷积:非对称卷积是标准卷积的分解,换句话说,n×1卷积后跟1×n卷积可以替代n×n卷积[23, 29].空洞卷积:空洞卷积是沿着每个维度,在两个连续的卷积核值之间插入0[3,33]这种卷积可以在扩大有效感受野的同时没有增加参数量.EDA block1中的最后两个EDA模块和EDA block2中的所有EDA模块都是空洞卷积,其卷积率为2,2,2,2,4,4,8,8,16,16.为了能够更多的聚合上下文信息来提高准确率,作者在EDA模块中的第二个非对称卷积对中使用空洞卷积,这杯成为"空洞非对称卷积".密集连接是DenseNet提出来的,其中每一层都将所有先前的特征图作为其输入,EDANet也采用这种策略.这种紧密连接的结构可以大大提高处理效率,因为每个模块仅负责获取一些新功能。 此外,众所周知,较深的层具有较大的接收场[27]。 例如,两个3×3卷积层的堆叠具有与单个5×5卷积层相同的有效接收场,并且三个这样的层具有7×7的有效接收场。 因此,密集的连接将从每个具有不同接收场的模块中学习到的功能进行串联,从而使EDANet可以自然地将多尺度信息收集在一起。确保了EDANet能够以较低的计算成本获得良好的语义分割结果。


Fig.1 EDA模块结构

网络结构


Fig.2 EDA网络模型

下采样:EDANet的网络模型如图2所示,其下采样模块采用的是ENet中的初始化模块,如图3所示。ENet只是在第一个下采样中使用了初始化模块,但是作者将该模块应用到了所有的下采样层,并扩展成了两种模式.当输出通道数Wout少于输入的通道数Win,这个模块就是一个简单的步长为2的3x3卷积,Wconv=Wout.EDANet的第三个下采样层就是这样的设计.如果Wout<Win.那么就会添加上一个步长为2的2x2最大池化层,接着将卷积和池化后的特征图进行concatenate,形成最后的输出,这里,Wout=Wout-Win.前两个下采样层就是采取这种模式.作者这里仍旧提到了特征图尺寸对于细节保留的重要性,因此作者采用了八倍的下采样,而不是像SegNet那样采取32倍下采样.


Fig.3 下采样模块

解码器:由于解码器会带来较大的计算量,因此EDANet放弃了解码器,在EDA block2之后,作者添加了一个1x1的卷积层作为一个投影层来产生C(classes)个特征的卷积层,然后使用双线性插值将特征图八倍上采样到输入图像的尺寸,这种策略会稍微的降低精度,但是也减少了大量的计算量.

        在网络中,为了加快实际推理速度,作者选择了后激活复合功能的传统智慧,而不是前激活.更具体地说,三个连续操作的顺序是卷积,然后是BN[14]和ReLU.作者将这种操作应用到除了最后投影层外的所有卷积层.这样做的好处是每个BN层可以在推理过程中与其之前的卷积层合并,这可以减少推理时间。 同样,在训练阶段,我们在最后一个ReLU和每个模块的concatenate之间放置一个Dropout[28]作为正则化手段(请参见图3)。 我们在网络中将Dropout率设置为0.02。


实验结果

        非对称卷积结构和密集连接概念是EDANet的两个关键元素.为了实验这两个元素的有效性,作者设计了两个对比实验.首先事将非对称卷积替换为两个正常的3x3卷积,另一个是"非密集"的连接,也即采用卷积残差连接[11]替换密集连接,并去除了点卷积层,这样的变体就跟ERFNet相同,为了在相同的计算量下进行对比,作者在对比网络中,将block1的W(特征图的数量)设为40,block2中的W设为80(在ERFNet中分别为64,128).作者使用与EDANet相同的层放置来构建分别由两个模块变体组成的两个网络,它们分别称为EDA-non-asym 和 EDA-non-dense.实验结果如图4所示。

额外的上下文模块:作者对比了EDA block和ASPP模块的效果,作者首先创造了一个浅层的EDANet作为baseline,浅层EDANet中的EDA block2中只有4个EDA模块。作者将最后的四个EDA模块替换为ASPP模块,被称为EDA-ASPP。实验结果显示EDANet比浅层的EDANet精度提升7.01%,而EDA-ASPP只能提升2.55%。另外,EDA-ASPP由于其五支路的结构。比EDANet多出了5倍的参数量。因此,作者观察到只有四个连接的EDA模块的块能够胜过繁重的ASPP上下文模块,因为它的结构更深,并且具有汇总多尺度信息的出色能力。

Fig.4  Ablation结果

解码器:作者设计了EDA-ERFdec模型,将ERFNet中的解码器拿过来作为对比。解码器是由步长为2的反卷积层的两个块组成。实验结果如图4(c)所示,实验结果显示EDA-ERFdec精度上获得了0.46%的提升,但是多消耗了44%的计算量(相比于EDANet)。

下采样模块:为了比较EDANet和DenseNet提出的下采样方法,作者通过分别用DenseNet中的早期下采样层和过渡层分别替换前两个下采样块和第三个下采样块来构造EDA-DenseDown,实验结果如图4d所示。EDA在介绍损耗增加的基础上精度提高了3.47%。

cityscapes对比结果

最后,作者分两个阶段来训练EDANet。 在第一阶段,作者通过将标注降采样为输入图像尺寸的1/8来对其进行训练。 在第二阶段,作者通过与输入大小相同的注释再次对其进行训练。 在评估中,作者没有采用任何测试技巧,例如多作物和多尺度测试。 图5显示的是EDANet在Cityscapes测试集上的mIoU和推理效率方面与其他最新网络的比较。 EDANet实现了67.3%的mIoU,这比大多数以30 FPS或更高的速度运行的现有方法(例如ENet [21]和ESPNet [19])要好,甚至比许多速度较低的方法(例如Dilation10 [32])要好。 和FCN [18]。 EDANet在单个GTX 1080Ti和Titan X GPU上分别达到108.7 FPS和81.3 FPS,因此它是当今最快的网络之一。 

Fig.5 cityscapes测试集结果
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 142,061评论 1 300
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 60,947评论 1 255
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 93,744评论 0 211
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 40,878评论 0 175
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 48,601评论 1 255
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 38,696评论 1 175
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 30,324评论 2 267
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 29,120评论 0 165
  • 想象着我的养父在大火中拼命挣扎,窒息,最后皮肤化为焦炭。我心中就已经是抑制不住地欢快,这就叫做以其人之道,还治其人...
    爱写小说的胖达阅读 28,921评论 6 229
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 32,459评论 0 213
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 29,234评论 2 214
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 30,558评论 1 226
  • 白月光回国,霸总把我这个替身辞退。还一脸阴沉的警告我。[不要出现在思思面前, 不然我有一百种方法让你生不如死。]我...
    爱写小说的胖达阅读 24,203评论 0 31
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 27,088评论 2 213
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 31,460评论 3 204
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 25,604评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 25,975评论 0 166
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 33,460评论 2 230
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 33,536评论 2 229

推荐阅读更多精彩内容