为什么倾向于使用3*3 小卷积核堆叠代替大卷积核

0.125字数 339阅读 6037
  • 3x3 是最小的能够捕获像素八邻域信息的尺寸。

  • 两个 3x3 的堆叠卷基层的有限感受野是 5x5 ;三个 3x3 的堆叠卷基层的感受野是7x7,故可以通过小尺寸卷积层的堆叠替代大尺寸卷积层,并且感受野大小不变

  • 多个 3x3 的卷基层比一个大尺寸 filter卷基层有更多的非线性(更多层的非线性函数),使得判决函数更加具有判决性。

we incorporate three non-linearrectification layers instead of a single one, which makes the decision function more discriminative

  • 多个 3x3的卷积层比一个大尺寸的 filter更少的参数,假设卷基层的输入和输出的特征图大小相同为 C,那么三个 3x3 的卷积层参数个数 3x(3x3xCxC)=27C2;一个7x7的卷积层参数为49C2;所以可以把三个3x3的filter看成是一个7x7 filter的分解(中间层有非线性的分解, 并且起到隐式正则化的作用。

This can be seen as imposing a regularisation on the 7 × 7 conv. filters, forcing them to have a decomposition through the 3 × 3 filters (with non-linearity injected in between)

参考资料:

[1]. VERY DEEP CONVOLUTIONAL NETWORKS FOR LARGE-SCALE IMAGE RECOGNITION

[2].VGG-16、VGG-19(论文阅读《Very Deep Convolutional NetWorks for Large-Scale Image Recognition》