Non-local Neural Networks
Non-local Neural Networks是何凯明大佬组最近发表的一篇文章。一作Xiaolong Wang，本科毕业于华南农业大学，研究生是中山大学，博士去了CMU，然后做出了这么好的工作，可以说非常励志了。
类似于Batch Normalization，这篇文章也提出了一种不改变输入输出大小的层，可以直接集成到现有的网络结构中。思想非常简单，却在各大数据集上都取得了良好的效果。
简介
捕捉大范围内数据相互之间的依赖关系是一个很重要的问题。对于序列化的数据，比如语音、视频等等，使用循环神经网络一直是比较主流的做法。对于图片来说，我们通常使用较大的卷积核来捕捉较远距离的像素之间的关系。
然而，循环神经网络或者传统的卷积神经网络都只是在其时间或空间的很小的邻域内进行捕捉，却很难捕获到更远的位置的数据的依赖关系。
这篇论文中，作者提出了一种Non-local层，可以很好地捕捉到较远位置的像素点之间的依赖关系。Non-local mean其实是一种传统计算机视觉方法。作者将其扩展到了神经网络中。
上图是该层训练后的一个效果图。箭头指向的点就是算法认为和箭尾的点关联度最高的一些点。可以看出，对于视频分类任务，人物的动作、球的位置等点的信息之间是有依赖关系的，而这种依赖关系被Non-local层很好的捕捉到了。
算法简介
Non-local的思想十分简单。以一个视频片段为例，假设我们要考虑的某一个帧中的某一个点为$x_i$，该视频片段里所有的像素点为$x_j$。non-local的最终输出为:
这里的$f(x_i, x_j)$可以看作是两点之间的关联系数，$g(x_j)$可以看作是$x_j$点中包含的信息。即以$f$为权重，将信息$g$进行加权求和。$C(x)$为其归一化系数。
到这里已经介绍完了Non-local的最重要的思想。接下来就是确定$f$和$g$的形式了。文章中列举了几种不同的$f$。
实例
$g$可以直接用一个线性函数来编码，即
实现时只要应用$1\times 1$卷积核就可以解决。关键是$f$的形式。下面列举几种。
| 函数 | 表达式 |
|---|---|
| Gaussian |  image.png
|
| Embedded Gaussian |  image.png
|
| Dot product |  image.png
|
| Concatenation |  image.png
|
不过论文也指出，最终的结果对于$f$的选择并不敏感。
None-local块的实现
res的结构是一定要有的，所以在之前的$y_i$算出来以后，我们最终的输出要满足：
所以Non-local层的结构如图2所示。
实现时，通道数先减半最后再还原，遵从了bottleneck的设计思想，降低了一半的计算量。同时，$\mathbb x_j$可以被降采样后的数据$\hat{\mathbb x}_j$代替，从而进一步降低计算量。
视频分类模型
作者在介绍视频分类实验介绍之前，先介绍了视频分类的常用方法。由于我对这块儿不太熟悉，所以这部分内容也记录下来。
-
2D卷积基准（2D ConvNet baseline）
这个网络是个咸鱼网络。因为要比较Non-local和I3D中时间序列的表现，所以构建这样一个基准网络。时间信息仅仅通过pooling来使用。
这里写图片描述 -
膨胀3D卷积（Inflated 3D ConvNet）
这里的膨胀指的是把卷积层膨胀成为3D的。使用2D卷积层初始化，然后再将每层缩放$1/t$。
要注意的是，3D卷积是非常消耗计算资源的，因此每隔两个res层才会使用一次3D卷积。提出I3D的人表示他们的方法要比CNN+LSTM方法好。
-
Non-local network
在C2D和I3D中加入Non-local块。
实现细节
网络现在imagenet上训练，然后使用视频微调。
首先是数据，从视频中采样连续的64帧，再从这64帧中间隔取32帧作为数据集；空域上随机从[256,320]上截取一块224X224大小的区域。训练时，每个GPU上放8段视频，一次用8块GPU，也就是说一个minibatch是64个clips（再次说明了多卡的重要性）。然后就是常规设置了，迭代40万次。（抱歉，有卡真的是可以为所欲为的）
值得注意的是他们在微调网络时激活了BN层，而ResNet训练时BN是关闭的。因为他们使用BN减少了过拟合。
在Non-local layer中，只有在最后一个1X1X1层的后面使用了BN，并且将BN的初始化参数设为0，从而保证网络的初始行为和预训练的网络一样。
inference时，从一个视频里取10段分别做前向，再将结果做softmax后再取平均。
在视频分类上的实验
使用了Kinetics数据集和Charades数据集。
Kinetics数据集上的实验
Kinetics dataset包含了246K个训练视频和20k个验证视频，包含400种人的常见行为。
图4说明加入NL之后的模型在整个训练过程中都力压没加过的。
图1和图3说明模型学到了很多有意义的关联点。
表2的信息量有点大。。。
表2a对比了不同的$f$对结果的影响。不管怎么选，只加一层Non-local都可以提高1个点。同时表格说明不同的$f$对结果影响不大。因此，接下来的实验都选择了Gaussian，因为他们的输出落在0~1之间，便于可视化。
表2b比较了在不同的位置添加Non-local层的影响。在res234添加的效果差不多，但在res5添加会有降低。一种可能的解释是越往后图越小，空间信息就越不明显。
表2c比较了不同数量的Non-local的影响。越多越准。值得注意的是，五层Nonlocal的ResNet-50比ResNet100还要准，但参数数量和计算量都比ResNet100小，因此其效果的提升并不是仅仅通过加深网络实现的。另外，作者还尝试把Non-local换成普通的Res层，结果精度并没有提高，说明Non-Local的确是增强了网络的能力。
表2d比较了Non-local用在时间、空间、时空上的结果。虽然都有提高，但是在时空上最好。
表2e比较了加了Non-local的C2D和I3D的效果。这两种操作可以看成是将C2D扩展到时间维度的不同方法。可以看出Non-local使用的计算力和参数都更小，却取得了更高的精度。
表2f比较了加了Non-local的I3D和I3D的效果。加了后效果更好了，说明Non-local可以是I3D的一种补充。
表2g比较了不同序列长度对结果的影响。这次直接用了128帧做输入。由于输入增大，每个GPU上同时跑两个clips，因此冻结了batchnorm层。与2f相比，精度提高了。同时加入Non-local的网络在精度增长上也毫不逊色。
表3比较了NL-I3D和现在在Kinetics数据集上的state-of-art方法的结果。在没有使用任何光流和声音信息的情况下，NL-I3D取得了和state-of-art相同的结果。
在Charades数据集上的实验
Charades数据集每个视频都包含多个标签。因此使用Kinetics数据集训练好的模型做初始化，输出换成per-category sigmoid函数，即为每种类别训练一个2分类器。结果又双叒叕吊打了之前的方法。
扩展：在COCO上的实验
在Mask-RCNN的主干网络上添加NL层，就可以用在物体检测了。对比了Non-local和不加的结果，加了以后显著提高。同时在关键点检测上也取得了好的结果。
结论
不管什么任务，加了Non-local以后效果都显著提高，简直就是神经网络界的金坷垃。正所谓，非洲农业不发达，种地要有金坷垃。神经网络训不好，试试加上Non-local。作者希望以后Non-local可以成为以后神经网络设计的一个标准模块。
