xDeepFM架构理解及实现

本文主要是为了讲解xDeepFM的框架,及如何用tensorflow去实现主干部分,如果需要直接拆箱可用,可以参考:xDeepFM,我的部分代码也来自于其中,这边主要是和大家一起对比着看下,xDeepFM到底做了哪些事情?我的工程实现代码等待我司项目上线稳定后开源。

XDeepFM到底extreme在哪里?

首先,我在做论坛帖子推荐的时候遇到这么一个问题(问题真实,问题内容纯属虚构),用户A:带有如下标签[篮球、足球、健身],用户B:带有如下标签[篮球,电脑,蔡徐坤],在使用deepfm做精排的时候,常常会把A和B所看的内容互相推荐,很明显,A是运动达人,而B是二次元达人,这样推荐是存在很大问题的。
我在处理的时候,采取了两种套路:

  • 改变Memorization为attention网络,强化feature直接的联系,让B中的电脑与蔡徐坤进行绑定,而不是让篮球电脑蔡徐坤进行混合绑定,让Memorization去记忆的时候进行权重倾斜
  • Memorization通常为低阶特征交互,那我就升高阶数,svm告诉我们,在越高的维度上我们越有可能把数据集进行越离散的切分,XDeepFM就相当于把DeepFM中的1维+2维,变成了1维+2维+(l+1)维特征组合

XDeepFM如何实现的?

网上大多数版本都是甩出的正方体图+公式,我觉得很不清晰,这边就不贴了,我直接贴代码及解释:

nn_input = tf.reshape(nn_input, shape=[-1, int(field_num), self.hparams.dim])

我们知道,无论是deepfm还是XDeepFM在初始化的时候,都会把feature进行onehotencoding后向量化,然后再压缩成一个[batch,dim*FIELD_COUNT]的input,这边只是将其还原成网上常见的正方体的形式:[batch,field_num,dim]

split_tensor0 = tf.split(hidden_nn_layers[0], self.hparams.dim * [1], 2)

这个就是XDeepFM最有意思的地方,我们正常理解都是把特征按照不同的特征进行切分组合,在XDeepFM它却按照dim进行切开然后进行点击,而且是外积,所以大家难以理解的就在这边,用数据来说就是:

tf.convert_to_tensor(np.arange(1,13).reshape(2,2,3),dtype=tf.int32)

array([[[ 1,  2,  3],
        [ 4,  5,  6]],

       [[ 7,  8,  9],
        [10, 11, 12]]], dtype=int32)
切割完为:
[array([[[ 1],
         [ 4]],

        [[ 7],
         [10]]], dtype=int32), 

         array([[[ 2],
         [ 5]],

        [[ 8],
         [11]]], dtype=int32), 

         array([[[ 3],
         [ 6]],

        [[ 9],
         [12]]], dtype=int32)]

这边没有按照[1,2,3]这种方式去切分,而是按照[[1],[4]]这种方式,在dim上进行切分。

dot_result_m = tf.matmul(split_tensor0, split_tensor, transpose_b=True)这一步也是很有意思,没有常规意义上做点击dot,做的外积,生生的把向量铺开了:

array([[[[  1,   4],
         [  4,  16]],

        [[ 49,  70],
         [ 70, 100]]],


       [[[  4,  10],
         [ 10,  25]],

        [[ 64,  88],
         [ 88, 121]]],


       [[[  9,  18],
         [ 18,  36]],

        [[ 81, 108],
         [108, 144]]]], dtype=int32)

把刚才的[[1],[4]]按照外积的形式去处理了,并得到了一个[bacth_size,dim,field_nums[0] * field_nums[-1]]的形式。再通过[1,field_nums[-1] * field_nums[0],output]进行卷积处理相当于在dim的每一维上进行融合,融合的是所有特征dim的每一维。最后才sum_pooling操作,外接一个输出层压缩到1个输出值。

CIN为什么要搞这么复杂,比deepfm好在哪?

看代码就知道,刚才CIN的过程可以进行N次,
image

这里面的l代表着从0层开始了l次的特征组合,比起deepfm的2次,对特征的组合更深,能解释的空间更为复杂

CIN很完美吗?

虽然作者在论文刚开始的时候就吐槽了DCN的低端,认为DCN其实就是init层的N次交叉,但是我认为DCN的残差项保证了特征的1~l+1特征都有,而CIN中去除了残差项,虽然更快了,但是相当于丢弃了1~l阶特征的组合结果,不见得可取

实操经验分享?

  • XDeepFM比起循环神经网络是快了不止一个量级的,基于DNN+CNN这种架构下,并行策略保证它很高效的执行速度。
  • 如果是baseline的尝试,建议优先DeepFM,绝大多数情况下,DeepFM已经满足了我们的基础需求。我司实际项目的效果下XDeepFM在离线数据集上目前也只有0.1%的提升,但是代码量及code review的压力却大了很多。
  • 在走XDeepFM的路子时候,可以考虑把DeepFM中的Memorization层加入DIN中的Attention,完全不逊色。

更多代码内容欢迎follow我的个人Github,如果有任何算法、代码疑问都欢迎通过邮箱发消息给我。

推荐阅读更多精彩内容