RNN中的梯度消失问题

一、RNN中的梯度消失

1、梯度消失的影响

梯度消失是神经网络中比较常见也是比较严重的一个问题，在RNN中它会导致长距离的信息无法进行有效的传递，进而造成远距离的梯度值非常小，最后导致网络无法更新参数，模型训练失败。从另一个角度来看梯度消失还可以被认为是衡量过去对未来的影响的一种方法，如果梯度在较长的距离上变得非常小（步骤t到步骤t+n），那么我们无法判断数据中的步骤t和t+n之间是否存在依赖关系以及我们是否粗壮乃错误的参数来捕获t和t+n之间的真正依赖关系

2、梯度消失产生的原因及推导过程

RNN的梯度消失主要是由于链式求导法则引起的。下图为RNN的反向传播示意图：

上图链式求导计算式图例：

当上式右边的每一项都很小时，梯度会随着它进一步反向传播而变得越来越小。这就导致了梯度消失现象的产生。

下面时简要的证明：
首先，隐藏层的计算公式如下：

对其求导得：

对每个时间步i的梯度求导得：

如果Wh非常小，当不断进行反向传播时，梯度值会越来越小。

若考虑到L2正则化：

当Wh的最大特征值小于1时，梯度会呈指数级别缩小，造成梯度消失。当Wh的最大特征值大于1时，梯度会呈指数级别增加，造成梯度爆炸。边界取1是因为我们采取的激活函数为非线性的sigmoid函数。

3、梯度爆炸的影响

根据上面的内容，我们已经知道梯度消失会给模型带来怎么影响。那么梯度爆炸会带来什么样的影响呢？

首先，如果梯度非常大，那意味着每一步的SGD更新值将会非常大。
其次，这可能会导致更新错误：因为我们采取了太大的步骤并达到了错误的参数配置（损失很大）
最后，在最坏的情况下，这将导致网络中的Inf或NaN（然后你必须从早期检查点重新开始训练）

4、梯度裁剪

梯度裁剪主要是为了解决梯度爆炸问题而提出的，其核心思想是：如果梯度的范数大于某个阈值，则在应用SGD更新之前将其缩小。

应用梯度裁剪前后的对比图：

这显示的是一个简单RNN的损失曲面（隐藏状态是标量而非矢量），“悬崖”很危险，因为它有陡峭的坡度，在左侧，由于陡峭的坡度，梯度下降需要两个非常大的步骤，导致攀登悬崖然后向右陡升（两个不好的更新）在右侧，梯度剪裁减小了这些步骤的大小，因此效果不那么剧烈。

二、LSTM(长短时记忆网络)

LSTM是Hochreiter和Schmidhuber在1997年提出的一种RNN，作为消除梯度问题的解决方案。

在LSTM中，每个时间步都有一个隐藏状态和cell状态，两者向量长度都为n，cell存储长期信息，LSTM可以从单元中遗忘，写入和读取信息

遗忘/写入/读取哪些信息的选择由三个相应的门控制

1.门也是向量长度n
2.在每个时间步长，门的每个元素可以打开（1），关闭（0），或介于两者之间。
3.门是动态的：它们的值是根据当前上下文计算的

LSTM各部分的计算表达式如下图所示：

LSTM的结构图如下：

那么，为什么LSTM可以解决梯度消失的问题呢？

LSTM架构使RNN更容易在多个时间步长内保存信息
•例如，如果将忘记门设置为记住每个时间步的所有内容，则单元格中的信息将无限期保留
•相比之下，一般的RNN更难以学习在隐藏状态下保留信息的循环权重矩阵Wh

需要注意的是：LSTM不能保证完全解决梯度消失/爆炸问题，但它确实为模型提供了一种更容易学习长距离依赖的方，在一定程度上改善了这个问题。

三、GRU(门控循环单元)

GRU是在2014年有CHO等人提出的用于替代LSTM的一种神经网络。其结构示意图如下所示：

GRU各部分的计算表达式如下图所示：

四、LSTM VS GRU

LSTM和GRU各有所长，很难说哪个更好，下面是它们的简单对比：

1.最大的区别是GRU的计算速度更快，而且具有更高的优势参数更少
2.没有确凿的证据证明一致的表现比其他更好
3.LSTM是一个很好的默认选择（特别是如果您的数据有特别长的依赖，或者你有很多训练数据）

经验法则：从LSTM开始，但如果需要，请切换到GRU更高效的东西

由上面的内容我们可以知道LSTM和GRU在一定程度上可以解决RNN梯度消失的问题。但是梯度消失不仅仅出现在RNN中(由于共享Wh,因此RNN受到的影响比其他网络大的多)，它同时还出现在很多其他网络结构中，特别是深层网络。人们也提出了很多方法来解决梯度消失问题，主要有:
1、ResNet

ResNet能默认保留信息、使深度网络更容易训练

2、DenseNet

直接将一切互联

3、HighwayNet

HighwayNet与残差连接类似，但身份连接与转换层由动态门控制，受LSTM的启发，但适用于深度前馈/卷积网络

五、双向RNN和多层RNN

1、双向RNN

之前我们提到的RNN及RNN的变体都是单向结构，因此只能学习到上文信息，学习不到下文的信息，这就造成了信息的丢失，因此研究者们就提出了双向RNN的结构。其结构示意图如下：

Snipaste_2019-04-19_21-37-52.png

每个时间步t的隐藏状态表示如下：

需要注意的是：

1.双向RNN仅适用于您可以获取整个输入序列的情况。
2.不适用于语言建模，因为在LM中您只能保留上下文。
3.如果确实有完整的输入序列（例如任何类型的编码），并且双向性很强大（默认情况下应该使用它）。
4.例如，BERT（transformer的双向编码器表示）是一个基于双向性的强大的预训练上下文表示系统。

2、多层RNN

之前我们提到的RNN及RNN的变体都为一层结构，因此很难学习到深层次的信息，因此因此研究者们提出了多层RNN的结构，这让模型能够充分学习两个维度上的信息，较低的RNN应计算较低级别的功能，较高的RNN应计算较高级别的功能。其结构示意图如下：

在实际应用中：高性能RNN通常是多层的（但不像卷积网络或前馈网络那么深）。例如：在2017年的论文中，Britz等人发现，对于神经机器翻译，编码器RNN中2至4层最适合，解码器RNN中4层最适合。但是，需要跳过连接/密集连接来训练更深的RNN（例如8层）。