卷积层、全连接层的FLOPs和参数量计算

卷积层

假设输入的feature map的维度(N, C, H, W),卷积层的的维度为(F, C, HH, WW),输出feature map的维度为(N, F, H', W'),那么不考虑样本数量
\begin{split}FLOPs&=(HH\times WW\times C+HH\times WW\times C -1+[1])\times H' \times W' \\&=(2\times HH\times WW\times C-1+[1]) \times H' \times W'\end{split}
其中,括号内第一项是卷积的乘法计算量,第二项是卷积的加法计算量,当有偏置时存在+1。

参数量:
Params = HH\times WW\times C\times F

全连接层

假设输入的数据维度(N, D),隐藏层维度(D, out),那么
FLOPs= (2\times D-1+[1])\times out
参数量:
Parameters = D\times out

推荐阅读更多精彩内容