用笔一步步演示人工神经网络的反向传播算法——Jinkey 翻译

背景

反向传播训练（Backpropagation）一个神经网络是一种常见的方法。网上并不缺少介绍反向传播是如何工作的论文。但很少包括一个用实际数字的例子。这篇文章是我试图解释它是如何工作的和一个具体的例子, 大家可以对比自己的计算,以确保他们正确理解反向传播。

Python 实现反向传播算法

您可以到 Github 尝试我写的一个反向传播算法Python脚本。

反向传播算法可视化

一个交互式可视化显示神经网络学习过程, 可以看看我的神经网络可视化网站。

额外的资源

果你发现本教程有用,想继续学习神经网络及其应用,我强烈推荐看看Adrian Rosebrock的优秀教程Getting Started with Deep Learning and Python

概述

对于本教程,我们将使用一个有 2 个输入神经元、2 个隐藏的神经元和 2 个输出神经元的神经网络。此外,隐藏层和输出层将包括一个偏差神经元（Bias）。
这里的基本结构:

为了一些数字,这是初始权重,偏差,和训练输入/输出:

反向传播的目标是优化神经网络的权重,这样神经网络可以学习如何正确将任意输入映射到输出。
本教程的剩余部分我们要处理一个训练集:给定输入0.05和0.10,我们希望神经网络输出0.01和0.99。

前向传播

让我们看看目前神经网络给定的偏差、权重和输入的0.05和0.10。为此我们要养活这些输入提前虽然网络。

我们算出每个隐藏神经元的总输入，再利用总输入作为激活函数(这里我们使用 Sigmoid 函数)的变量，然后在输出层神经元重复这一步骤。

这是我们如何计算h1总输入:

$net_{h1} = w_1 * i_1 w_2 * i_2 b_1 * 1$

$net_{h1} = 0.15 * 0.05 0.2 * 0.1 0.35 * 1 = 0.3775$

然后使用 Sigmoid 函数计算h1输出：

$out_{h1} = \frac{1}{1 e^{-net_{h1}}} = \frac{1}{1 e^{-0.3775}} = 0.593269992$

同理得h2输出：

$out_{h2} = 0.596884378$

我们对输出层神经元重复这个过程，使用隐层神经元的输出作为输入。
这是o1的输出:

$net_{o1} = w_5 * out_{h1} w_6 * out_{h2} b_2 * 1$

$net_{o1} = 0.4 * 0.593269992 0.45 * 0.596884378 0.6 * 1 = 1.105905967$

$out_{o1} = \frac{1}{1 e^{-net_{o1}}} = \frac{1}{1 e^{-1.105905967}} = 0.75136507$

同理得o2输出：

$out_{o2} = 0.772928465$

计算总误差

我们现在可以计算每个输出神经元平方误差和：

$E_{total} = \sum \frac{1}{2}(target - output)^{2}$

例如,o1预期输出为 0.01，但实际输出为0.75136507，因此他的误差是：

$E_{o1} = \frac{1}{2}(target_{o1} - out_{o1})^{2} = \frac{1}{2}(0.01 - 0.75136507)^{2} = 0.274811083$

重复这个过程得到o2(预期输出是0.99)的误差是

$E_{o2} = 0.023560026$

因此，神经网络的总误差为

$E_{total} = E_{o1} E_{o2} = 0.274811083 0.023560026 = 0.298371109$

反向传播过程

反向传播的目标是更新连接的权重以使每个神经元的实际输出更加接近预期输出，从而减少每个神经元以及整个网络的误差。

输出层

考虑一下ω5，我们希望知道ω5的改变对误差的影响有大多，称为

$\frac{\partial E_{total}}{\partial w_{5}}$

（误差对ω5求偏导数）
根据我们所知道的链式法则得出：

$\frac{\partial E_{total}}{\partial w_{5}} = \frac{\partial E_{total}}{\partial out_{o1}} * \frac{\partial out_{o1}}{\partial net_{o1}} * \frac{\partial net_{o1}}{\partial w_{5}}$

可视化我们所做的事情

我们需要弄清楚这个等式的每一部分。
首先，o1的输出变化对总误差的影响有多大？

$E_{total} = \frac{1}{2}(target_{o1} - out_{o1})^{2} \frac{1}{2}(target_{o2} - out_{o2})^{2}$

$\frac{\partial E_{total}}{\partial out_{o1}} = 2 * \frac{1}{2}(target_{o1} - out_{o1})^{2 - 1} * -1 0$

$\frac{\partial E_{total}}{\partial out_{o1}} = -(target_{o1} - out_{o1}) = -(0.01 - 0.75136507) = 0.74136507$

我们用总误差对

$out_{o1}$

求偏导数时，
$\frac{1}{2}(target_{o2} - out_{o2})^{2}$

的值变为 0 ，因为
$out_{o1}$

不会影响o2的误差。

下一步，o1总输入的变化对于o1的输出的影响有多大？

$out_{o1} = \frac{1}{1 e^{-net_{o1}}}$

$\frac{\partial out_{o1}}{\partial net_{o1}} = out_{o1}(1 - out_{o1}) = 0.75136507(1 - 0.75136507) = 0.186815602$

最后，计算 ω5的变化对o1总输入的影响有多大？

$net_{o1} = w_5 * out_{h1} w_6 * out_{h2} b_2 * 1$

$\frac{\partial net_{o1}}{\partial w_{5}} = 1 * out_{h1} * w_5^{(1 - 1)} 0 0 = out_{h1} = 0.593269992$

将这三者放在一起：

$\frac{\partial E_{total}}{\partial w_{5}} = \frac{\partial E_{total}}{\partial out_{o1}} * \frac{\partial out_{o1}}{\partial net_{o1}} * \frac{\partial net_{o1}}{\partial w_{5}}$

$\frac{\partial E_{total}}{\partial w_{5}} = 0.74136507 * 0.186815602 * 0.593269992 = 0.082167041$

Delta规则——权值的修正量等于误差乘以输入
我们也可以将这个计算过程组合成 δ规则的形式：

$\frac{\partial E_{total}}{\partial w_{5}} = -(target_{o1} - out_{o1}) * out_{o1}(1 - out_{o1}) * out_{h1}$

（1）

令
$\delta_{o1} = \frac{\partial E_{total}}{\partial out_{o1}} * \frac{\partial out_{o1}}{\partial net_{o1}} = \frac{\partial E_{total}}{\partial net_{o1}}$

（2）
因为
$net_{o1} = w_5 * out_{h1} w_6 * out_{h2} b_2 * 1$

所以

（3）

联立（1）（2）（3）得

$\delta_{o1} = -(target_{o1} - out_{o1}) * out_{o1}(1 - out_{o1})$

$\frac{\partial E_{total}}{\partial w_{5}} = \delta_{o1} out_{h1}$

为了减少误差，我们从当前权重减去这个值（学习率可自定义，这里我们设置为0.5）：

$w_5^{ } = w_5 - \eta * \frac{\partial E_{total}}{\partial w_{5}} = 0.4 - 0.5 * 0.082167041 = 0.35891648$

重复这个过程，我们可以得到权重 ω6, ω7, 和 ω8：

$w_6^{ } = 0.408666186$

$w_7^{ } = 0.511301270$

$w_8^{ } = 0.561370121$

我们在得到新的隐藏层神经元的输入权重之后再更新 ω6, ω7, 和 ω8（也就是说，在进行反向传播的时候我们使用旧的权重值）

隐藏层

接下来,我们将继续向后传播，计算新值ω1, ω2, ω3, 和 ω4。
全局来说，我们需要计算

$\frac{\partial E_{total}}{\partial w_{1}} = \frac{\partial E_{total}}{\partial out_{h1}} * \frac{\partial out_{h1}}{\partial net_{h1}} * \frac{\partial net_{h1}}{\partial w_{1}}$

可视化：

我们要用类似计算输出层那样的过程,但略有不同的是：每个隐层神经元的输出会对多个输出神经元的输出和误差产生印象。我们知道out_h1将同时影响out_o1和out_o2（为方便表示，这里用下划线表示下标，下同）。因此

$\frac{\partial E_{total}}{\partial out_{h1}}$

需要同时考虑out_h1对每个输出神经元的影响：

$\frac{\partial E_{total}}{\partial out_{h1}} = \frac{\partial E_{o1}}{\partial out_{h1}} \frac{\partial E_{o2}}{\partial out_{h1}}$

先从

$\frac{\partial E_{o1}}{\partial out_{h1}}$

开始：

$\frac{\partial E_{o1}}{\partial out_{h1}} = \frac{\partial E_{o1}}{\partial net_{o1}} * \frac{\partial net_{o1}}{\partial out_{h1}}$

我们之前计算过

$\frac{\partial E_{o1}}{\partial net_{o1}}$

：

$\frac{\partial E_{o1}}{\partial out_{h1}} = \frac{\partial E_{o1}}{\partial net_{o1}} * \frac{\partial net_{o1}}{\partial out_{h1}}$

然后

$\frac{\partial net_{o1}}{\partial out_{h1}}$

= ω5，因为：

$net_{o1} = w_5 * out_{h1} w_6 * out_{h2} b_2 * 1$

$\frac{\partial net_{o1}}{\partial out_{h1}} = w_5 = 0.40$

讲两者代入

$\frac{\partial E_{o1}}{\partial out_{h1}}$

得：

$\frac{\partial E_{o1}}{\partial out_{h1}} = \frac{\partial E_{o1}}{\partial net_{o1}} * \frac{\partial net_{o1}}{\partial out_{h1}} = 0.138498562 * 0.40 = 0.055399425$

同理得：

$\frac{\partial E_{o2}}{\partial out_{h1}} = -0.019049119$

因此，

$\frac{\partial E_{total}}{\partial out_{h1}} = \frac{\partial E_{o1}}{\partial out_{h1}} \frac{\partial E_{o2}}{\partial out_{h1}} = 0.055399425 -0.019049119 = 0.036350306$

现在我们计算好了

$\frac{\partial E_{total}}{\partial out_{h1}}$

。

然后我们计算

$\frac{\partial out_{h1}}{\partial net_{h1}}$

：

$out_{h1} = \frac{1}{1 e^{-net_{h1}}}$

$\frac{\partial out_{h1}}{\partial net_{h1}} = out_{h1}(1 - out_{h1}) = 0.59326999(1 - 0.59326999 ) = 0.241300709$

接下来我们计算h1的总输入对ω1求偏导数：

$net_{h1} = w_1 * i_1 w_2 * i_2 b_1 * 1$

$\frac{\partial net_{h1}}{\partial w_1} = i_1 = 0.05$

综上所述，

$\frac{\partial E_{total}}{\partial w_{1}} = \frac{\partial E_{total}}{\partial out_{h1}} * \frac{\partial out_{h1}}{\partial net_{h1}} * \frac{\partial net_{h1}}{\partial w_{1}}$

$\frac{\partial E_{total}}{\partial w_{1}} = 0.036350306 * 0.241300709 * 0.05 = 0.000438568$

你也可以这么写

$\frac{\partial E_{total}}{\partial w_{1}} = (\sum\limits_{o}{\frac{\partial E_{total}}{\partial out_{o}} * \frac{\partial out_{o}}{\partial net_{o}} * \frac{\partial net_{o}}{\partial out_{h1}}}) * \frac{\partial out_{h1}}{\partial net_{h1}} * \frac{\partial net_{h1}}{\partial w_{1}}$

$\frac{\partial E_{total}}{\partial w_{1}} = (\sum\limits_{o}{\delta_{o} * w_{ho}}) * out_{h1}(1 - out_{h1}) * i_{1}$

$\frac{\partial E_{total}}{\partial w_{1}} = \delta_{h1}i_{1}$

现在我们可以更新ω1了：

$w_1^{ } = w_1 - \eta * \frac{\partial E_{total}}{\partial w_{1}} = 0.15 - 0.5 * 0.000438568 = 0.149780716$

重复该过程计算 ω1, ω2, 和 ω3：

$w_2^{ } = 0.19956143$

$w_3^{ } = 0.24975114$

$w_4^{ } = 0.29950229$

最后,我们已经更新所有的权重! 我们最初提出 0.05 和 0.1 的输入,网络上的误差为 0.298371109 。第一轮反向传播之后,现在总误差降至 0.291027924 。它可能看起来没有调整太多。但是在这个过程重复 10000 次之后，比如说，误差降到0.000035085。在这一时刻，当我们输入0.05和0.1时，两个输出神经元分别输出0.015912196 ( vs 预期 0.01) and 0.984065734 (vs 预期 0.99) 。

如果你做到这一步，发现任何错误或者能想到更通俗易懂的说明方法，请加我公众号 jinkey-love 交流。

英文原文链接

最后编辑于：2017.12.05 07:34:25

人面猴
序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
沈念sama阅读 157,298评论 4赞 360
死咒
序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
沈念sama阅读 66,701评论 1赞 290
救了他两次的神仙让他今天三更去死
文/潘晓璐我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
开封第一讲书人阅读 107,078评论 0赞 237
道士缉凶录：失踪的卖姜人
文/不坏的土叔我叫张陵，是天一观的道长。经常有香客问我，道长，这世上最难降的妖魔是什么？我笑而不...
开封第一讲书人阅读 43,687评论 0赞 202
港岛之恋（遗憾婚礼）
正文为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
茶点故事阅读 52,018评论 3赞 286
恶毒庶女顶嫁案：这布局不是一般人想出来的
文/花漫我一把揭开白布。她就那样静静地躺着，像睡着了一般。火红的嫁衣衬着肌肤如雪。梳的纹丝不乱的头发上，一...
开封第一讲书人阅读 40,410评论 1赞 211
城市分裂传说
那天，我揣着相机与录音，去河边找鬼。笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。我是一名探鬼主播，决...
沈念sama阅读 31,729评论 2赞 310
双鸳鸯连环套：你想象不到人心有多黑
文/苍兰香墨我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
开封第一讲书人阅读 30,412评论 0赞 194
万荣杀人案实录
序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
沈念sama阅读 34,124评论 1赞 239
护林员之死
正文独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋以下内容为张勋视角年9月15日...
茶点故事阅读 30,379评论 2赞 242
白月光启示录
正文我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
茶点故事阅读 31,903评论 1赞 257
活死人
序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
沈念sama阅读 28,268评论 2赞 251
日本核电站爆炸内幕
正文年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
茶点故事阅读 32,894评论 3赞 233
男人毒药：我在死后第九天来索命
文/蒙蒙一、第九天我趴在偏房一处隐蔽的房顶上张望。院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
开封第一讲书人阅读 26,014评论 0赞 8
一桩弑父案，背后竟有这般阴谋
文/苍兰香墨我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。一阵脚步声响...
开封第一讲书人阅读 26,770评论 0赞 192
情欲美人皮
我被黑心中介骗来泰国打工，没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。一个月前我还...
沈念sama阅读 35,435评论 2赞 269
代替公主和亲
正文我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
茶点故事阅读 35,312评论 2赞 260

用笔一步步演示人工神经网络的反向传播算法——Jinkey 翻译

背景

Python 实现反向传播算法

反向传播算法可视化

额外的资源

概述

前向传播

计算总误差

反向传播过程

输出层

隐藏层

推荐阅读更多精彩内容