TextRNN用于文本分类

技术交流QQ群:1027579432，欢迎你的加入！

1.单向RNN结构

单向RNN.png

1.png

上述公式中，权重矩阵U、V、W共享

2.双向RNN(Bidirection-RNN)结构

双向RNN.png

2.png

双向RNN的最终输出和中间隐藏状态的计算公式如下，正向计算与反向计算不共享权重:

3.png

3.LSTM(长短时记忆网络)

普通的RNN网络中只有S_t = f(Ux_t+WS_t-1)，这种结构无法捕捉到长文本中远距离相关的特征，同时隐藏层的状态对短期的输入非常敏感，也会产生梯度爆炸或梯度消失问题。LSTM的关键在于cell的状态(整个绿色图表示一个cell)和穿过cell的那条水平线。

cell结构.png

如果只有上面的那条水平线是没办法实现添加或删除信息的，必须通过一种叫门(gates)的结构实现，门可以让信息选择性的通过，主要通过一个sigmoid的神经层和一个逐点相乘的操作实现的。

门的结构.png

sigmoid层的输出是一个向量，向量的每个元素都在[0,1]之间，表示让对应的信息通过的权重。如：0表示不让信息通过，1表示让所有信息通过。

(1)遗忘门(forget gate)
在LSTM中的第一步决定我们会从细胞状态中遗忘什么信息，这个决定通过一个称为遗忘门层来实现的。该门会读取 $h_{t-1}$ 和 $x_t$ ,输出一个在[0,1]之间的数值给每个在细胞状态 $C_{t-1}$ 中的数字，1表示“完全保留”，0表示“完全遗忘”。

遗忘门.png

其中 $h_{t-1}$ 表示上一个cell的输出, $x_t$ 表示当前细胞的输入，sigmoid表示激活函数
(2)输入门(input gate)
下一步决定让多少新的信息加入到cell状态中，实现这个需要包括两个步骤：首先，一个叫做"input gate layer"的sigmoid层决定哪些信息需要更新；一个tanh层生成一个向量，即备选用来更新的内容 $\hat{C}_t$ 。在下一步，我们把这两部分联合起来，对cell的状态进行一个更新。

输入门.png

现在是更新旧细胞状态的时间，将 $C_{t-1}$ 更新为 $C_t$ 下面就是具体的实现过程:先将旧状态与 $f_t$ 相乘，丢弃掉确定需要丢弃的信息。然后，加上 $i_t*\hat{C}_t$
最后的值就是新的候选值，根据我们决定更新每个状态的程度进行变化。

更新状态.png
(3)输出门
最后，需要确定最终输出是什么值。这个输出状态将会基于我们的细胞状态，但是也是一个过滤后的状态。首先，运行一个sigmoid层来确定细胞状态的哪个部分将会输出出去。接着，把细胞状态通过tanh进行处理，得到一个[-1,1]之间的值，并将它和sigmoid门的输出相乘，最终仅仅会输出我们确定输出的那部分。

输出门.png

4.LSTM的变体GRU网络

(1)下面介绍一种LSTM比较著名的变种GRU，如下图所示，只有两个门：重置门(reset gate)和更新门(update gate)。同时在这个结构中，把细胞状态和隐藏状态进行合并，此结构比LSTM更简单。

GRU.png

其中，重置门表示为 $r_{t}$ ,更新门表示为 $z_t$ 。重置门决定是否将之前的状态忘记(相当于合并了LSTM中的遗忘门与输入门)。当 $r_t$ 趋于0时，前一时刻的状态信息 $h_{t-1}$ 会被遗忘掉，隐藏状态 $\hat{h}_t$ 会被重置为当前输入的信息。更新门决定是否将隐藏状态更新为新的状态 $\hat{h}_t$ (相当于LSTM中的输出门)。
(2) GRU与LSTM相比较:
- a.GRU少一个门，同时少了细胞状态 $C_t$
- b. 在LSTM中，通过遗忘门和输入门控制信息的保留与输入；GRU通过重置门来控制是否保留原来隐藏状态的信息，但是不再限制当前信息的输入。
- c. 在LSTM中，虽然得到了新的细胞状态 $C_t$ ,但还是不能直接输出，而需要经过一个过滤的处理: $h_t$ = $o_t*tanh(C_{t})$ ;同样在GRU中，虽然也得到新的隐藏状态 $\hat{h}_t$ ,但是还不能直接输出，而是通过更新门来控制最后的输出是: $h_t$ = $(1-z_t)*{h}_{t-1}+z_t*\hat{h}_t$

5.RNN文本分类

(1) 用于文本分类的单向RNN结构

单向RNN.png
(2) 引入双向LSTM进行分类,网络框架是:embedding layer--->Bi-LSTM layer--->concat output--->FC layer ---> softmax层

Bi LSTM.png

multilayer LSTM.png