如何在Deep Generative Model中加入Memory机制

文章地址:https://arxiv.org/pdf/1602.07416v2.pdf

文章的作者来自于清华的Chongxuan Li,Jun Zhu和Bo Zhang。

这篇文章的核心内容是想在Deep Generative Model(DGM)的基础上加上Memory机制。Motivation的点是,传统的DGM比较能够抓住数据的High-level Feature。但是利用这些High Level Feature,还是不能很好得产生实际的数据。作者们认为,部分原因是因为缺少机制能够把一些细节给记下来。这篇文章就是想能否利用Memory,外加Attention的机制,使得数据的部分细节能够在每一层得到保存。

作者们在传统的DGM层与层之间加入了Memory和Attention机制。具体来说,就是每一层的单一Hidden Layer,被两个不同的Hidden Layer所替代。模型首先从Input Layer产生H1,然后利用一个每一层特有的Memory外加每一层特有的Attention,产生一个H2。最后的输出H,是这两个H1和H2的一个函数。

学习过程来讲,文章主要还是扩展了Variational Approximation的方法。

从实验效果来说,特别是随机产生数据,提出的模型明显能够产生更加真实的数据。

更多关于聊天机器人(Chatbots)的技术和产品的分享可以关注ChatbotsChina微博,每日都会有干活分享!

推荐阅读更多精彩内容