使聊天机器人的对话更有营养

本文结构:

  • 模型效果
  • 模型
  • 模块细节

今天的论文是 《Topic Aware Neural Response Generation》

https://arxiv.org/pdf/1606.08340.pdf

这篇论文的目的是让聊天机器人的回复更有营养,例如下面这种场景,要尽量避免‘我也是’‘明白了’‘不知道’这种没有信息量的回复,而是可以给出一些建议和方案等:


模型

思路是输入句子后,先预测 topics,再根据 topics 生成回复。

文章中通过建立 topic aware sequence-to-sequence (TA-Seq2Seq) 模型来实现这个过程。

TA-Seq2Seq 建立于 sequence-to-sequence 基础上,再加上一个联合注意力机制。

关于 seq2seq 的模型细节可以看这两篇文章:
seq2seq 入门
seq2seq 的 keras 实现

简单回顾,

1. seq2seq

是个 encoder-decoder 结构,两部分都是 RNN 模型,RNN 可以选择 LSTM 或者 GRU;

输入句子 X = (x1, x2, . . . , xT ) ,
输出句子 Y = (y1 , y2 , . . . , yT` )

目标是要最大化条件概率:

其中 c 为 encoder 的 RNN 模型得到的 context vector。

2. 注意力机制

简单讲,就是一般的 seq2seq 中,回复句子的所有单词都是由同样的语境生成,而加入注意力机制后,回复中的每个单词是由输入句子的不同部分生成的。
即 Y 中的每个单词 yi 由语境向量 ci 影响,其中 ci 是隐向量的加权平均:


模块细节

接下来根据前面的 TA-Seq2Seq 模型结构图看一下细节。

TA-Seq2Seq 的 encoder 和 decoder:

1. 在 encoding 中

  1. message encoder 通过一个双向的 GRU 模型,将输入 X 表示成隐向量 ht。
  2. 再用提前训练好的 Twitter LDA 模型获得 topic words 的向量表示:

Twitter LDA 模型的参数根据 collapsed Gibbs 采样算法求得,

Twitter LDA 会给输入 X 分配主题 z,选择概率最高的前 100 个单词,并且移除 “谢谢” “你” 等普遍的词,最终得到 X 的主题词 K。

这里 K 的向量表达由每个主题词 w 的分布计算得到:

其中 Cwz 为 w 被分配到主题 z 的次数。


2. 在 decoding 中

每个单词都通过一个联合注意力机制,由输入句子和主题共同影响生成,这样生成的句子不仅和输入有关,而且和相关主题有关。

decoding 时,每一步时隐向量 h 被转化为 ci:

主题向量 k 也被线性组合为 oi,每个 kj 对应的系数为:

其中 hT 是输入句子的最终隐藏层状态,η0 是一个多层感知器,这么做可以削弱与主题无关的词的影响,加强相关词的影响度,即 oi 与输入的内容更相关,减少了很多噪音。

然后由 ci 和 oi 联合影响着生成句子的概率,

即每个单词的生成概率定义为:

p(yi) = pV (yi) + pK (yi),

其中 V 是回复词汇表,f 是一个 GRU 模型, Z 是正规化因子,并且:

这里的 σ(·) 为 tanh,w 为单词的 one-hot 表达,其余的 W 和 b 为参数。

这个生成概率定义的作用是,

对于非主题词,pV (yi) 就和 seq2seq + joint attention mechanism 类似,
但对于主题词,就有额外的一项 pK(yi) 可以增加主题词在回复中出现的概率。

这种联合影响还有一个好处,

一般的 seq2seq 生成回复中第一个词只由 c0 决定,这里是由 c0 和 o0 共同作用,使得回复的第一个词更加贴切主题,第一个词准了对后面生成词的影响也很重要。


推荐阅读 历史技术博文链接汇总
http://www.jianshu.com/p/28f02bb59fe5
也许可以找到你想要的:
[入门问题][TensorFlow][深度学习][强化学习][神经网络][机器学习][自然语言处理][聊天机器人]

推荐阅读更多精彩内容