本文主要整理自下面的几篇博客：
1、深度神经网络（DNN）反向传播算法(BP)：https://www.cnblogs.com/pinard/p/6422831.html
2、机器学习中的矩阵、向量求导。https://download.csdn.net/download/weixin_42074867/10405246
1、推导BPNN前需要了解的矩阵求导知识
1.1 矩阵／向量值函数对实数的导数
1.2 实值函数对矩阵／向量的导数
1.3 向量值函数对向量的求导(雅可比矩阵)
1.4 变量多次出现的求导法则
规则：若在函数表达式中，某个变量出现了多次，可以单独计算函数对自变量的每一次出现的导数，再把结果加起来。
1.5 向量求导的链式法则
1.6 一一对应关系下的矩阵求导
1.7 几个重要的结论
掌握了上面的一些基本知识之后，我们就可以顺利推导出神经网络的反向传播算法。
2、反向传播的推导
具体的推导过程可以参考文章开头给出的博客，下图是我手动推导的过程：
赞赏支持
作者：石晓文的学习日记
链接：https://www.jianshu.com/p/ee08ed75844b
來源：简书
简书著作权归作者所有，任何形式的转载都请联系作者获得授权并注明出处。
