深度学习-RNN-循环神经网络

1，结构

图1-左侧为折叠形式，右侧为展开形式

RNN接收序列数据为输入，何为序列数据？一句话就是一组词的序列，其中词有固定的顺序。一段语音是一组时间切片后语音信号的序列。例如“what is RNN”就可以看成序列输入

知道这点之后，就可以把RNN想象成一个机器，每个时刻，吃进一个词，吐出一个结果。这仿佛没什么特别。其实如果把上图左侧W删掉，这就是一个简单的DNN。但是，RNN为了能够计算序列中也就是词与词之间的联系，对隐藏层做了一个小修改，那就是隐藏层要循环改变自己。
这就是循环的由来。这个状态层的值我们称之为隐藏状态，相当于序列前面部分的记忆，记下了前面词的信息，然后再结合当前词来更新自己成为。
具体地，一个rnn有3部分：

输入层 $x$ ，它通过一组连接权重 $U$ 接入状态层。变成 $Ux^{(t)}$
隐藏层 $h$ ，它就厉害了。他有两个输入，一是输入层 $Ux^{(t)}$ ，二是上一个自己 $h^{(t-1)}$ 。再通过激活函数变成 $h^{(t)} = \sigma(z^{(t)}) = \sigma(Ux^{(t)} + Wh^{(t-1)} +b)$
所以，RNN的隐藏层，是在反复更新自己的。
输出层 $o$ ，这个就是简单的对隐藏层的加权
$o^{(t)} = Vh^{(t)} +c$
$y^{(t)} =\sigma(o^{(t)})=\sigma(Vh^{(t)} +c)$

上述 $U,V,W$ 是同一组 $U,V,W$ ，不同时刻，RNN使用的是同一组 $U,V,W$ ,即共享

通过上面可以看出，所谓循环神经网络，循环的是隐藏层 $h$ 。它是RNN最重要的一个部分。
另外，要有“时刻 $t$ ”这个概念。图1右侧是RNN的展开模式，看起来仿佛又很多网络连接，非常复杂，但实际上，这只是不同时刻的RNN展现在一起了而已。实际上他就是左侧的样子。就像一个人一天吃3顿饭，但是是在不同时刻吃的，不能想象成3个自己同时在吃早中晚饭。

通俗来讲，假设RNN星球的小R是一个RNN代表。他要吃一堆水果，那么过程就是：

吃下第一个水果 $x^{(0)}$
拉出第一个shit $h^{(0)}$
观察拉出的shit得出水果的名字 $y^{(0)}$
吃下第二个水果 $x^{(1)}$
然后吃下第一个shit $h^{(0)}$
拉出第二个shit $h^{(1)}$
观察拉出的shit得出水果的名字 $y^{(1)}$
...

这个小R，可以适合不同任务，
例如输入一个序列，输出同等长度的序列，就像上面吃水果一样
也可输入一个序列，输出单一值(是否吃饱)，那么，按上述例子，他可以只在最后一个时刻计算输出层，而在这之前不必计算输出层。

2，前向传递与反向传播

2.1 前向传递

如上所述
$h^{(t)} = \sigma(z^{(t)}) = \sigma(Ux^{(t)} + Wh^{(t-1)} +b)$
$y^{(t)} =softmax(o^{(t)})=softmax(Vh^{(t)} +c)$

2.2 反向传播

图2-左侧为折叠形式，右侧为展开形式

依旧还是拿这个图来说。
上图中
$y$ 为真实值， $y'=softmax(o)$
$y$ 和 $y'$ 经过计算得到损失 $L$
此处我们定义损失函数为交叉熵损失 $L^{(t)}=-\sum_{i=1}^{n}y_i^tlog(y^{'t}_{i})$ 。因为 $y$ 是一个列向量(例如onehot编码)
总损失 $L=\sum_{t=1}^{T}L^{(t)}$

2.2.1 求关于V，c的梯度 $\frac{\partial L}{\partial V}$ , $\frac{\partial L}{\partial c}$

跟V,c有关的：
$y^{(t)} =softmax(o^{(t)})=softmax(Vh^{(t)} +c)$
则
$\begin{alignedat}{2} \frac{\partial L^{(t)}}{\partial V}&=\frac{\partial L^{(t)} }{\partial o^{(t)}}\frac{\partial o^{(t)}}{\partial V}\\ &=\frac{\partial L^{(t)} }{\partial y^{'(t)}}\frac{\partial y^{'(t)}}{\partial o^{(t)}}\frac{\partial o^{(t)}}{\partial V}\\ &=[0,0..., -\frac{1}{y'_i},...,0][matrix](h^{(t)})^T \\ &=(y'^{(t)}-y^{(t)})(h^{(t)})^T \\\\ \frac{\partial L^{(t)}}{\partial c}&=(y'^{(t)}-y^{(t)}) \end{alignedat}$
上面第三个等号出涉及到softmax求导，具体在下面详述。

2.2.2 求关于W,U,b的梯度 $\frac{\partial L}{\partial W}$ , $\frac{\partial L}{\partial U}$ , $\frac{\partial L}{\partial b}$

跟W,U,b有关的：
$h^{(t)} = \sigma(z^{(t)}) = \sigma(Ux^{(t)} + Wh^{(t-1)} +b)$
此处约定激活函数是 $tanh$ 函数，导数为 $(1-tanh^2)$
所以，我们可以求 $\delta^{(t)}=\frac{\partial L}{\partial h^{(t)}}$
而对于 $h^{(t)}$ ，看上图，它有两个走向，一路向 $o^{(t)}$ ，一路向 $h^{(t+1)}$
所以
$\begin{alignedat}{2} \delta^{(t)}&=\frac{\partial L}{\partial o^{(t)}}(\frac{\partial o^{(t)}}{\partial h^{(t)}} )^T + \frac{\partial L}{\partial h^{(t+1)}}( \frac{\partial h^{(t+1)}}{\partial h^{(t)}} )^T \\ &= V^T(\hat{y}^{(t)} - y^{(t)}) + W^T\delta^{(t+1)}diag(1-(h^{(t+1)})^2)\\\\ \delta^{(T)}&=( \frac{\partial o^{(T)}}{\partial h^{(T)}})^T\frac{\partial L}{\partial o^{(T)}} \\ &= V^T({y'}^{(T)} - y^{(T)}) \end{alignedat}$
则
$\begin{alignedat}{2} \frac{\partial L}{\partial W}&= \sum\limits_{t=1}^{T}diag(1-(h^{(t)})^2)\delta^{(t)}(h^{(t-1)})^T\\ \frac{\partial L}{\partial U}&=\sum\limits_{t=1}^{T}diag(1-(h^{(t)})^2)\delta^{(t)}(x^{(t)})^T\\ \frac{\partial L}{\partial b}&= \sum\limits_{t=1}^{T}diag(1-(h^{(t)})^2)\delta^{(t)}\\ \end{alignedat}$

注意此处的 $diag(1-(h^{(t)})^2)$ 是tanh函数的导数，他应该是一个列向量：
$[1-(h^{(t)}_0)^2,1-(h^{(t)}_1)^2,1-(h^{(t)}_2)^2,...,1-(h^{(t)}_n)^2]^T$
而他所参与的乘法运算，往往是 $\odot$ 而不是 $\cdot$ 。这和sigmoid函数一样。
而softmax函数则和tanh，sigmoid不同。softmax函数需要综合所有输入才能获得最终输出，而后两者一个输入就能获得对应的输出。

2.2.3 softmax 函数及导数

函数
$x=[x_0,x_1,x_2,...,x_n]$
$y=softmax(x)=[\frac{e^{x_0}}{\sum_{k=0}^{n}e^{x_k}},\frac{e^{x_1}}{\sum_{k=0}^{n}e^{x_k}},...,\frac{e^{x_i}}{\sum_{k=0}^{n}e^{x_k}},...,\frac{e^{x_n}}{\sum_{k=0}^{n}e^{x_k}}]$
导数
y是一个向量，x也是一个向量，向量对向量求导，得到一个矩阵 $[\frac{\partial y_i}{\partial x_j}]_{n\times n}$
- $i=j$ 时
  $\frac{\partial y_i}{\partial x_j}=\frac{-e^{x_i}e^{x_j}+e^{x_i}\sum_{k=0}^{n}e^{x_k}}{(\sum_{k=0}^{n}e^{x_k})^2}=\frac{e^{x_i}}{\sum_{k=0}^{n}e^{x_k}}\cdot \frac{\sum_{k=0}^{n}e^{x_k}-e^{x_i}} {\sum_{k=0}^{n}e^{x_k}}=y_i(1-y_i)$
- $i\neq j$ 时
  $\frac{\partial y_i}{\partial x_j}=\frac{-e^{x_i}e^{x_j}+0\sum_{k=0}^{n}e^{x_k}}{(\sum_{k=0}^{n}e^{x_k})^2}=\frac{e^{x_i}}{\sum_{k=0}^{n}e^{x_k}}\cdot \frac{-e^{x_j}} {\sum_{k=0}^{n}e^{x_k}}=-y_iy_j$
总结来说，对于导数矩阵来说，对角线元素是 $y_i(1-y_i)$ ，非对角线元素是 $-y_iy_j$

未完待续

3，参考

https://www.cnblogs.com/pinard/p/6509630.html#!comments

人面猴
序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
沈念sama阅读 158,847评论 4赞 362
死咒
序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
沈念sama阅读 67,208评论 1赞 292
救了他两次的神仙让他今天三更去死
文/潘晓璐我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
开封第一讲书人阅读 108,587评论 0赞 243
道士缉凶录：失踪的卖姜人
文/不坏的土叔我叫张陵，是天一观的道长。经常有香客问我，道长，这世上最难降的妖魔是什么？我笑而不...
开封第一讲书人阅读 43,942评论 0赞 205
港岛之恋（遗憾婚礼）
正文为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
茶点故事阅读 52,332评论 3赞 287
恶毒庶女顶嫁案：这布局不是一般人想出来的
文/花漫我一把揭开白布。她就那样静静地躺着，像睡着了一般。火红的嫁衣衬着肌肤如雪。梳的纹丝不乱的头发上，一...
开封第一讲书人阅读 40,587评论 1赞 218
城市分裂传说
那天，我揣着相机与录音，去河边找鬼。笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。我是一名探鬼主播，决...
沈念sama阅读 31,853评论 2赞 312
双鸳鸯连环套：你想象不到人心有多黑
文/苍兰香墨我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
开封第一讲书人阅读 30,568评论 0赞 198
万荣杀人案实录
序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
沈念sama阅读 34,273评论 1赞 242
护林员之死
正文独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋以下内容为张勋视角年9月15日...
茶点故事阅读 30,542评论 2赞 246
白月光启示录
正文我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
茶点故事阅读 32,033评论 1赞 260
活死人
序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
沈念sama阅读 28,373评论 2赞 253
日本核电站爆炸内幕
正文年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
茶点故事阅读 33,031评论 3赞 236
男人毒药：我在死后第九天来索命
文/蒙蒙一、第九天我趴在偏房一处隐蔽的房顶上张望。院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
开封第一讲书人阅读 26,073评论 0赞 8
一桩弑父案，背后竟有这般阴谋
文/苍兰香墨我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。一阵脚步声响...
开封第一讲书人阅读 26,830评论 0赞 195
情欲美人皮
我被黑心中介骗来泰国打工，没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。一个月前我还...
沈念sama阅读 35,628评论 2赞 274
代替公主和亲
正文我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
茶点故事阅读 35,537评论 2赞 269