RNN正向及反向传播

RNN简介

RNN（循环神经网络）是深度神经网络中，应用最广泛的两种神经网络架构之一。并且，作为一种时序结构的神经网络，RNN经常用于时序相关的问题中，且在NLP中应用广泛。还有一种RNN称为递归神经网络，虽然名字类似，但是却是不一样的架构。

RNN图示

RNN结构图

x_t

是输入层数据，

s_t

是隐含层数据，

o_t

是输出层数据，我们令：每一个

y_t

是t时刻对应的真实输出，

y^{hat}_t

是对

o_t

进行softmax计算之后得到的估计值。

U

是输入层到隐含层的权重，

W

是上一时刻隐含层到当前时刻隐含层的权重，

V

是隐含层到输出层的权重。

正向传播

由上图易知： $a_t=b+W*s_{t-1}+U*x_t$
$s_t=tanh(a_t)$
$o_t=c+U*s_t$
$y^{hat}_t=softmax(o_t)$
我们假设t时候的损失函数为 $L^t$ (一般为交叉熵损失/负对数似然)，则一次正向传播的损失 $L=\sum_tL^t$

反向传播

反向传播中，还是使用链式推导方法，与传统的神经网络推导类似。但不一样的地方在于隐含层受到了前一时刻隐含层的影响，故 $t$ 时刻隐含层 $s_t$ 的误差传播源来自于 $o_t$ 与 $s_{t+1}$ 两个方向。这里推导我是参考了很多博客文章，但是一直都没理解。后来看了文献1，多少有点明白的意思。有幸各位大牛们看了这篇文章，请指点。
我们首先看误差对 $o_t$ 的影响 $\nabla o_tL=\frac{\partial L}{\partial o_t}=\frac{\partial L^t}{\partial o_t}=y_t*y^{hat}_t-I_{i=j}*y_t$ 其中i是当前数据所属真实类别索引，j为所有类别的索引分量。当i=j时， $I_{i=j}$ 是1，否则是0，参考了文献2。
假设总时刻长度为 $t=\tau$ ,
$\nabla s_tL = V^T*\nabla o_tL，t=\tau$
$\nabla s_tL=(\frac{\partial s_{t+1}L}{\partial s_tL})*\nabla s_{t+1}L + (\frac{\partial o_{t}L}{\partial s_tL})*\nabla o_{t}L，t<\tau$
也就是说最后一个节点的隐含层误差只来源于他的输出层。其余各层除了本身输出层外，还会有上一层的误差来源。通过链式求导有
$\nabla s_tL=W^T*s_{t+1}L*diag(1-s_{t+1}^2)+V^T*\nabla o_tL，t<\tau，diag是对角线矩阵$
故各种变量的梯度值为所有时刻梯度值的和：
$\nabla _cL=\sum_t \nabla o_tL$
$\nabla _bL=\sum_t diag(1-s_t^2)\nabla o_tL$
$\nabla _VL=\sum_t \nabla o_tL *s_t^T$
$\nabla _WL=\sum_t diag(1-s_t^2)*\nabla s_tL*s_{t-1}^T$
$\nabla _UL=\sum_t diag(1-s_t^2)*\nabla s_tL*x_{t}^T$

参考文献

1.深度学习(AI圣经) P327
2.softmax函数及其导数
3.RNN求解过程推导与实现

最后编辑于：2018.12.27 18:09:34

人面猴
序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
沈念sama阅读 157,198评论 4赞 359
死咒
序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
沈念sama阅读 66,663评论 1赞 290
救了他两次的神仙让他今天三更去死
文/潘晓璐我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
开封第一讲书人阅读 106,985评论 0赞 237
道士缉凶录：失踪的卖姜人
文/不坏的土叔我叫张陵，是天一观的道长。经常有香客问我，道长，这世上最难降的妖魔是什么？我笑而不...
开封第一讲书人阅读 43,673评论 0赞 202
港岛之恋（遗憾婚礼）
正文为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
茶点故事阅读 51,994评论 3赞 285
恶毒庶女顶嫁案：这布局不是一般人想出来的
文/花漫我一把揭开白布。她就那样静静地躺着，像睡着了一般。火红的嫁衣衬着肌肤如雪。梳的纹丝不乱的头发上，一...
开封第一讲书人阅读 40,399评论 1赞 211
城市分裂传说
那天，我揣着相机与录音，去河边找鬼。笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。我是一名探鬼主播，决...
沈念sama阅读 31,717评论 2赞 310
双鸳鸯连环套：你想象不到人心有多黑
文/苍兰香墨我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
开封第一讲书人阅读 30,407评论 0赞 194
万荣杀人案实录
序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
沈念sama阅读 34,112评论 1赞 239
护林员之死
正文独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋以下内容为张勋视角年9月15日...
茶点故事阅读 30,371评论 2赞 241
白月光启示录
正文我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
茶点故事阅读 31,891评论 1赞 256
活死人
序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
沈念sama阅读 28,255评论 2赞 250
日本核电站爆炸内幕
正文年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
茶点故事阅读 32,881评论 3赞 233
男人毒药：我在死后第九天来索命
文/蒙蒙一、第九天我趴在偏房一处隐蔽的房顶上张望。院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
开封第一讲书人阅读 26,010评论 0赞 8
一桩弑父案，背后竟有这般阴谋
文/苍兰香墨我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。一阵脚步声响...
开封第一讲书人阅读 26,764评论 0赞 192
情欲美人皮
我被黑心中介骗来泰国打工，没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。一个月前我还...
沈念sama阅读 35,412评论 2赞 269
代替公主和亲
正文我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
茶点故事阅读 35,299评论 2赞 260