DNN的反向传播
在学习CNN的反向传播之前，先学习一个DNN（普通的全连接层的深度神经网络）的反向传播。
DNN中，某一层的连接的简单示意图如下：
由于画图水平有限，在这里简单描述一下上图：
图中的a表示每一层的输出，a(l-1)(1) 表示第 l-1 层的第1个输出 z 经过l-1层的激活函数之后的输出。w(l)(1) 表示第 l 层的第 1 个权重，z(l)(1) 表示第 l 层的第 1 个输出，a(l)(1) 表示第 l 层的 z 经过激活函数之后的值。这里的激活函数可以用sigmod或reLu等。
定义模型的损失函数为
a^{L} 表示最后一层的输出
先明确以下两个等式：
z^{l} = W^{l}a^{l-1}+b^{l}
a^{l} = \sigma(z^{l})
由此可以知道损失函数变为：
J(W,b,x,y)=\frac{1}{2}\parallel a^{L} - y \parallel^{2}_{2}=\frac{1}{2}\parallel \sigma(W^{L}a^{L-1}+b^{L})-y\parallel ^{2}_{2}
通过梯度下降的方法来更新权重和偏置值时，由链式求导法则我们可以推导出损失函数对W和b的梯度为：
\frac{\partial J(W,b,x,y)}{\partial W^{l}} = \frac{\partial J(W,b,x,y)}{\partial z^{l}} \frac{\partial z^{l}}{\partial W^{l}}
\frac{\partial J(W,b,x,y)}{\partial b^{l}} = \frac{\partial J(W,b,x,y)}{\partial z^{l}} \frac{\partial z^{l}}{\partial b^{l}}
从前面的等式可以知道，
而a^{l-1} 即为前向传播时，上一层的输出。所以压力都在求解下式身上了：
而最后一层的\delta ^{L}已经可以求到：
注意上式中有一个符号⊙,它代表Hadamard积，对于两个维度相同的向量A(a_{1},a_{2},...a_{n})和B(b_{1},b_{2},...b_{n}),则A⊙B=(a_{1}b_{1},a_{2}b_{2},...a_{n}b_{n})
如果可以计算出第 l 层的\delta^{l} ，则可以很容易的求到该层的W^{l}和b^{l}，但现在我们只知道最后一层的\delta ^{L}，那么如何通过\delta ^{L}来求取每一层的\delta ^{l}呢？我们可以继续使用链式求导法则，注意到：
那么z ^{l+1}跟z ^{l}之间又有什么关系呢？我们看：
所以就可以知道：
严谨一点，因为这里都是对向量进行运算，所以上式应为：
所以就有：
现在得到了\delta ^{l}的递推式，求得每一层的\delta ^{l}之后，就可以很容易的求到损失函数对于每一层的W ^{l}和b ^{l}的梯度了
DNN反向传播总结：故事的开始，是为了求得W和b的梯度。从这一点出发，得益于链式求导法则这一神器，不断的推导。可以知道，DNN的反向传播其实就是从输出层开始，将每一层的输出梯度不断的从后往前传播，从而求出对权重和偏置的梯度的过程。
CNN的反向传播
从DNN的反向传播中可以看到，需要求出权重和偏置的梯度，需要先通过反向传播，从某一层 l 的\delta ^{l}中，推导出前一层的\delta ^{l-1}。但是，要将DNN的反向传播算法直接套用到CNN中，会遇到一些困难需要解决：
（1）CNN中，pooling层没有激活函数，这个比较容易解决，可以认为pooling层的激活函数为一个线性函数：f(z)=z
（2）CNN中，pooling层一般是max pooling 或 average pooling，pooling对于上一层的输出做了压缩，这种变化是不可逆的，从pooling层的\delta ^{l}推出\delta ^{l-1}的方法与DNN完全不一样。
（3）卷积层是多个feature map和多个filter做卷积的结果，从卷积层的\delta ^{l}推算\delta ^{l-1}的方法也跟DNN不太一样。
（4）因为CNN中，卷积核的每一个值就是一个权重，上一层的输出与W矩阵进行卷积之后得到下一层的输出，在知道\delta ^{l}之后，求W和b的梯度的方法也不太一样。
已知池化层的\delta ^{l}，求解\delta ^{l-1}
在进行CNN的前向传播时，池化层一般用max pooling 和 average pooling对输入进行池化，max pooling 是将卷积层提取到的feature map划分子区域，然后保留每个子区域的最大值，average pooling则是保留子区域的平均值。在反向传播时，需要将被缩小的误差\delta ^{l}的所有子矩阵还原成池化之前的大小，即做一个upsample。
如果是max pooling，可以记录进行pooling时保留的值所在的位置，然后将pooling后的值填回原来的位置，而其他的位置补零。假设原来做的是average pooling，则将值平均分到每个位置。具体示例如下：
假设池化之后的\delta ^{l}_{k}：\begin{pmatrix} 1 &2\\ 3 &4 \end{pmatrix}
将其还原为原来的大小，假设原来是做一个2x2的max pooling，每个子区域的最大值所在的位置均为最左上角，还原后的误差为：
\begin{pmatrix} 1 &0 &2 &0 \\ 0 &0 &0 &0 \\ 3 & 0 & 4 &0 \\ 0 & 0 & 0 & 0 \end{pmatrix}
如果是2x2的average pooling，则是：
\begin{pmatrix} 0.25 &0.25 &0.5 &0.5 \\ 0 .25&0.25 &0.5 &0.5 \\ 0.75 &0.75 & 1 &1 \\ 0.75 &0.75 & 1 & 1 \end{pmatrix}
所以此时我们得到了\frac{\partial J(W,b)}{\partial a^{l-1}_{k}}
为什么这么说呢？我们可以看一下前向传播的过程中，池化层前一层的输出是z^{l-1}，而z^{l-1}通过一个激活函数之后，才得到a^{l-1}。所以我们直接还原为原来的大小时，只是传播了a^{l-1}的误差。所以我们还原后只是得到了上面的式子。而a=\sigma(z)，所以要传播z的误差，还需要如下：
\frac{\partial J(W,b)}{\partial z^{l-1}_{k}}=\frac{\partial J(W,b)}{\partial a^{l-1}_{k}}\frac{\partial a^{l-1}_{k}}{\partial z^{l-1}_{k}}
而\frac{\partial a^{l-1}_{k}}{\partial z^{l-1}_{k}}=\sigma'(z^{l-1}_{k})
所以从池化层的\delta ^{l}推导\delta ^{l-1}的式子应该为：
\delta ^{l-1}=upsample(\delta ^{l}) \odot \sigma'(z^{l-1})
已知卷积层的\delta ^{l}，求解\delta ^{l-1}
在卷积操作中，可以知道：
在DNN中，\delta ^{l}与\delta ^{l-1}的递推关系为：
要将其套用到CNN中，则需要知道z ^{l}与z ^{l-1}之间的关系：
于是\delta ^{l-1}与\delta ^{l}的关系可以表示为;
前面两个等号都可以根据链式求导法则很容易的推导出来，重点解释以下最后一个等号。
我们知道，
所以
对于a ^{l-1}的梯度，可以知道：
对于 \frac{\partial z^{l}}{\partial a^{l-1}}来说，z^{l} 是a ^{l-1} 和W ^{l}卷积得到的，以一个a ^{l}为 3x3 矩阵，卷积核为2x2大小，stride 为1 的卷积运算作为简单例子展开如下：
卷积时，a 与 z 之间的关系如下：
z_{11} = w_{11} \times a_{11} + w_{12} \times a_{12} + w_{21} \times a_{21} + w_{22} \times a_{22}
z_{12} = w_{11} \times a_{12} + w_{12} \times a_{13} + w_{21} \times a_{22} + w_{22} \times a_{23}
z_{21} = w_{11} \times a_{21} + w_{12} \times a_{22} + w_{21} \times a_{31} + w_{22} \times a_{32}
z_{22} = w_{11} \times a_{22} + w_{12} \times a_{23} + w_{21} \times a_{32} + w_{22} \times a_{33}
将矩阵 \delta ^{l} 与 \frac{\partial z^{l}}{\partial a^{l-1}} 的点积展开（即a^{l-1}矩阵中每一个元素的梯度）可以知道：
对于∇a_{12}，根据链式求导法则，可以知道，a_{12}影响了z_{11} 和 z_{12}，a_{12}的梯度如下：
那我们按照上面的分析可以分别得到a_{13}........a_{33}的梯度如下：
那么上面的式子其实可以用下面的矩阵卷积的形式来表示：
于是，我们终于得到了前面讲的那个已知卷积层的\delta ^{l} 求得前一层的\delta ^{l-1}的等式，这里再给一次最终的式子:
这里的操作也叫转置卷积(Transposed Convolution)，可以恢复出卷积前的矩阵大小，恢复出的值则是前一层的输出的梯度。可以看一下下面的卷积和转置卷积的示意图
得到\delta ^{l}之后，怎么求这一层的W和b的梯度呢？
卷积层的输入输出关系为：
z^{l}=a^{l-1}*W^{l}+b^{l}
求梯度时，有：
\frac{\partial J(W,b)}{\partial W^{l}}=\frac{\partial J(W,b)}{\partial z^{l}}\frac{\partial z^{l}}{\partial W^{l}}
那从前面的推导可以知道：
\frac{\partial J(W,b)}{\partial z^{l}}\frac{\partial z^{l}}{\partial W^{l}}=\delta ^{l} * rot180(a^{l-1})
对于b，因为\delta^{l}是张量，而b是向量，通常的做法是将\delta^{l}的每一个子矩阵对应的项分别求和，得到b的梯度：
\frac{\partial J(W,b)}{\partial b^{l}}=\sum_{i,j} (\delta^{l})_{i,j}
－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－
参考链接：
https://grzegorzgwardys.wordpress.com/2016/04/22/8/
http://www.deeplearningbook.org/
http://ufldl.stanford.edu/tutorial/
http://neuralnetworksanddeeplearning.com/index.html
