MobileNet 结构简单微调的一点性能提升

本文已经放到arxiv 上面了:
http://arxiv.org/abs/1802.03750
FD-MobileNet: Improved MobileNet with a Fast Downsampling Strategy


下面是论文的一个简短的介绍:

实践过程中发现了一个对MobileNet 微调即可完成提升的方法。不过只能在140 MFLOPS 以下的小网络会有提升,例如40MFLOPS 对原版有3%的提升,12-13MFLOPS 对原版有5%的提升;相对的,对大于这个数量级的会略微变差。相比ShuffleNet 相同的计算量下的网络会略差一些,但因为ShuffleNet 比较复杂,额外层的耗时有点多,工程优化难度大,因此我们这个小发现会有那么一点点竞争力。

实验结果

第一部分,MobilenetV1,蓝色是我们复现的结果,黑色是论文中的结果。实验是在pytorch 上面完成的,imagenet 2012数据集,120 epochs 标准训练过程。我们的结果比MobileNet 论文中略高一点点。
第二部分和第三部分,分别是ShuffleNet 在两个版本论文中的结果,v1 是指单栏排版的,v2 是指双栏排版的。
第四部分,compact-Mobilenet,是我们微调结构的Mobilenet。

网络结构

这样的结构一目了然,最右边Compact-MNet 在第一次步长为2 的卷积之后并没有"逗留",而是径直再进入一次步长为2 的卷积,如果将depthwise + pointwise 卷积看成是一个conv set 的话,那么这个结构简单说就是网络开始就进入连续三个步长为2的conv sets。后边都是按MobileNet 照猫画虎了,期间还尝试了几个类似的high-level层的微调结构,这个是最好的一个。
这个工作的思维过程说起来还是从ShuffleNet 中学习来的,简单说就是将ShuffleNet 开始的头部结构拿到了MobileNet 上进行了一次移植。
大概猜测的原因是,这样可以迅速降低特征图分辨率,降低对等结构计算量,同时保持计算量不变的结构的特征描述能力比原版的就要好一些了。

实验分析

由于该结构是对原版MobileNet 的一次微调,调整过程可以简单到修改一下特征图通道数组和步长数组即可。所以只要跑过MobileNet 的代码,那么得到compact MobileNet 的代码基本上不需要花时间,直接复现实验即可。同理,这个结果的工程实现和工程优化难度,可以MobileNet 原版一模一样,可能相比ShuffleNet 的复杂结构来讲会有一定的优势。
这块的代码月底会和我们组另外一个工作一起放出。

更多

这个小的改动本质是一个网络结构trick,一开始连续下降两次或者三次的做法,不光在ShuffleNet上是这样的,在很多网络上也是类似的。


English Version:

FD-MobileNet: Improved MobileNet with a Fast Downsampling Strategy

Zhaoning Zhang, Qin Zheng, Xiaotao Chen
PDL, NUDT

Abstract

We present a compact MobileNets structure. It is a fine adjusted structure from the original MobileNets and performs better than the counterpart original MobileNets structure in tiny networks, such as 140 MFLOPs or less. Without the extra time consumed by the extra layers, compact MobileNets provides a competitive choice for the neural networks run on the hardwares of very limited computing power. Further, it is with very easy engineering realization and engineering optimization.

Experiment Results


First Part: Blue results are tested by our experiment with MobileNet V1. The experiment is done on pyTorch and imagenet 2012 dataset, with standard 120 epochs training.
Second and Third Part: results in two Shufflenet papers.
The last part is the results of our Compact Mobilenet.

Network Structure

The rightmost Compact-MobileNet is different with original MobileNet at the head part, compact mnet is with three continuous stride=2 convolutional sets (depthwise + pointwise conv). This structure is inspired by the head structure of ShuffleNet. The other part of the network is also fine tuned and this structure is the best in practice.
The reason why this structure performs better in tiny networks is that, as we speculated, the feature map is down sampled at very low level, with the complexity reduced fiercely in the counterpart structure, and when the complexity is restored by width modifier, the representational power surpass the original one, in the tiny structures.

Engineering

The compact structure can be reproduced by only modifying python arrays of feature map filters and strides. So, it is with very easy engineering realization and engineering optimization, as the same as MobileNets. The code will be available soon with the other work of our team.

Google在2018年1月16号放出来的MobilenetV2 结构 https://arxiv.org/abs/1801.04381 ,我这边已经复现过了,可以达到论文所说的精度,文中还有大量的细节放出,确实是一篇良心论文。引用知乎问题:如何评价mobilenet v2 ?

发展实在是太快了,因为我自己这个工作本就是抖机灵的,就在这里放一篇非正式的算了。
^v^

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 151,688评论 1 330
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 64,559评论 1 273
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 101,749评论 0 226
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 42,581评论 0 191
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 50,741评论 3 271
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 39,684评论 1 192
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 31,122评论 2 292
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 29,847评论 0 182
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 33,441评论 0 228
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 29,939评论 2 232
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 31,333评论 1 242
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 27,783评论 2 236
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 32,275评论 3 220
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 25,830评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,444评论 0 180
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 34,553评论 2 249
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 34,618评论 2 249