推荐系统遇上深度学习(四十一)-Improved Recurrent Neural Networks for Session-based Recommendations

本文论文的题目是《Improved Recurrent Neural Networks for Session-based Recommendations》
论文下载地址为:https://arxiv.org/abs/1606.08117

本文仍然使用RNN做基于会话的推荐,但在此基础上,提出了几种提升预测效果的方法,我们一起来学习一下吧。

1、基础模型

基本的RNN模型如下图所示:

而对于其中一个序列,其过程如下:

对于一个输入序列x= [x1,x2,....,xr-1,xr],模型输出y=M(x),并使用交叉熵损失或者rank的损失函数(如上一篇中提到的BPR和TOP1损失函数)来进行模型的训练。

2、模型改进

本节介绍几种针对基础模型的改进。包括Data augmentationAdapting to temporal changesUse of privileged informationOutput embeddings for faster predictions,咱们细细道来。

2.1 Data augmentation

第一种方式是数据增强,本文提出了两种增强的方式。

第一种方式,便是将一条长度为n的序列拆分成n-1条训练数据,假设一条长度为4的序列(l1,l2,l3,l4),将其拆分成3条数据,即((l1),l2),((l1,l2),l3),((l1,l2,l3),l4)。如下图所示:

第二种方式,是将点击序列中的一些数据随机的丢掉,可以增强训练的鲁棒性,如下图所示:

2.2 Adapting to temporal changes

用户的行为偏好是随着时间而变化的,近期的行为能够更好的代表当前用户的偏好。因此啊,我们可以定义一个近期的时间节点,比如近半年之内,只用这部分数据去训练模型。但是呢,这样会造成训练数据太少。

所以文中使用预训练的方法。即用所有的数据先预训练模型,然后只用近期的数据进行模型的进一步训练。

2.3 Use of privileged information

这里是使用privileged information(不知是否可以翻译为超越信息)来训练模型。假设有序列[x1,x2,....,xr,xr+1,...,xn-1,xn],当此条训练数据是使用[x1,x2,....,xr]预测xr+1,那么其对应的privileged information是[xn,xn-1,...,xr+2]。

思路是,用户点击某item后的点击序列中实际上能提供该item的信息,这些信息尽管在实际预测时使用不上,但在训练时我们可以加以利用。具体做法上,先使用privileged information训练一个模型,作为teacher模型,然后训练一个student模型,即我们实际想要学习的模型。

假设teacher模型是M*,模型输出是M*(x*),student模型是M,模型输出为M(x),预测的实际输出(即label对应的one-hot encoding)为V(xn),那么此时的损失函数为:

2.4 Output embeddings for faster predictions

模型在最后输出层的参数数目为H * N,H是GRU单元的size,N是item的数量。当我们的item数目过多的时候,这样不仅训练慢,同时在预测阶段的时间也会比较长。有两种常见的方法,即我们在word2vec中见过的,hierarchical softmax和负采样。

本文提出了一种新的做法,即输出层预测的不再是点击每个item的概率,而是直接输出item的embedding,并与label对应的item的embedding进行对比,计算cosine距离作为损失。

但是,这种方法需要item的embedding十分准确,本文提出的方法是使用模型训练出的item embedding作为label。而这里的模型可以是使用基准模型+前三种改进方式训练出的模型。

3、实验效果及结论

好了,论文实验了上面几种改进方法的效果:

M1:基准RNN模型 + 数据增强
M2:基准RNN模型 + 数据增强 + 预训练
M3:基准RNN模型 + privileged information
M4:基准RNN模型 + Output embeddings,这里使用的item embedding是使用M1模型训练出的。

模型结果如下:

左面的结果,GRU size是100,右边是GRU size是1000。虚线是基准模型的结果,横轴的负数代表使用的训练集。比如,我们将所有的训练集按照时间先后排序,-8即代表使用最近的1/256的数据集进行训练,-6代表使用最近的1/64的数据集进行训练,0就是使用所有的训练集进行训练。

可以看到,M2的效果最好,同时,使用最近1/64的数据可以得到最好的效果。

推荐阅读更多精彩内容