为何要根据损失函数推导公式以及关于推导的方式

为何要根据损失函数推导公式以及关于推导的方式

目录:

  1. 原因:解释了为何要推导这些公式的原因
  2. 举例说明:根据文章来说明这个推导的必要性
  3. 分析如何推导添加用户相似度的公式

1. 原因

首先来先说一下原因,接着举例分析这个原因,最后再来分析一下到底要如何推导加了用户相似度的两个矩阵的计算方式。

那么先说原因:

  1. ALS 模型不是输入一条损失函数的公式,然后输入数据就能直接跑起来模型的。
  2. 模型的更新是要根据损失函数推导出来的公式来设定的。
  3. 众所周知,ALS 是一个交替最小二乘法,意思是先固定用户矩阵或者项目矩阵中的其中 1 个,然后计算另一个矩阵的,最终得到两个最优解矩阵。而如何计算另一个矩阵办法或者公式我们是未知的。
  4. 因此,我们要根据损失函数来推导出这两个矩阵(用户矩阵和项目矩阵)的是怎么在固定一个矩阵的情况下来计算更新另一个矩阵的。
  5. 总结,以上就是我们需要从损失函数推导公式的原因。

那么接下来就按照知乎文章中的损失函数推导公式过程以及代码来举例说明整个过程

2. 举例说明

接下来就举例说明一下文章中的 ALS 算法的推导过程,以及解说一下配套代码的含义

2.1 文章中的 ALS 损失函数

首先是损失函数,下面是知乎文章中的 ALS 模型的损失函数:

文章链接: https://zhuanlan.zhihu.com/p/47584486?utm_source=wechat_session&utm_medium=social&utm_oi=896399378548404224

L=-\frac{1}{2} \sum_{i=0}^{n}\left(R_{a i}-U^{T} a * I i\right)^{2}

这个是损失函数。

2.2 推导的过程

由于 ALS 算法的流程是先固定 1 个矩阵,然后求另一个矩阵的。然而现在不知道是如何计算另一个矩阵的,也就是不知道另一个矩阵的计算公式。因此我们需要来推导这个另一个矩阵的计算公式。

由损失函数推导出用户矩阵 U_a 和项目矩阵 I_b 的计算公式,那么推导的过程主要分 3 步:

  1. 对损失函数求 U_a 的一阶偏导数,得到结果如下:

\begin{aligned} \frac{d L}{d U_{a}} &=\left(R_{a}-U^{T} a * I\right) * I^{T} \\ \frac{d L}{d U a} &=I *\left(R^{T} a-I_{T} * U_{a}\right) \end{aligned}

  1. 然后再令一阶偏导数等于0 ,即等式左边项为 0 ,得到了用户矩阵 U_a ,结果如下:

\begin{array}{l}{I * R^{T} a=I * I^{T} * U a} \\ {U a=\left(I * I^{T}\right)^{-1} * I * R_{a}^{T}}\end{array}

  1. 同理,可证得项目矩阵 I_b 的计算公式

I_{b}=\left(U * U^{T}\right)^{-1} * U * R_{b}

2.3 推导的公式在代码上的应用

下面截取了 ALS 算法的代码中核心部分

  • 含义
    • 这段代码的内容是按照上面推导出来的、用来计算两个矩阵 U 和 I 的公式设计出来的。
  • 作用
    • 输入数据后通过调用该方法,最终计算得到 U 和 I 的两个矩阵。
for i in range(max_iter):
    if i % 2:
      # U = (I * I_transpose) ^ (-1) * I * R_transpose
      items = self.item_matrix
      self.user_matrix = self._items_mul_ratings(
        items.mat_mul(items.transpose).inverse.mat_mul(items),
        ratings
      )
    else:
      # I = (U * U_transpose) ^ (-1) * U * R
      users = self.user_matrix
      self.item_matrix = self._users_mul_ratings(
      users.mat_mul(users.transpose).inverse.mat_mul(users),
      ratings_T
        )

3. 如何处理加了相似度的损失函数

3.1 加了相似度的损失函数

首先需要先了解加了用户相似度的损失函数是怎样的。

加了相似度的损失函数如下,这是在论文中截取到的:

\begin{aligned} L=& \min _{U, V} \frac{1}{2} \sum_{i=1}^{m} \sum_{j=1}^{n} I_{i j}\left(r_{i j}-\mathbf{u}_{i}^{T} \mathbf{v}_{j}\right)^{2} \\ &+\frac{\alpha}{2} \sum_{i=1}^{m} \sum_{f \in \mathcal{F}+(i)} s_{i f}\left\|\mathbf{u}_{i}-\mathbf{u}_{f}\right\|_{F}^{2} \\ &+\frac{\lambda_{1}}{2}\|U\|_{F}^{2}+\frac{\lambda_{2}}{2}\|V\|_{F}^{2} \end{aligned}

这个损失函数的参数解释如下:

  • 其中 α 是正则化参数,s_if 表示用户 i 与用户 f 之间的相似度,\mathcal{F}+(i) 表示用户的外向好友,即相似度较高朋友

3.2 推导步骤

  1. 对损失函数求 u_i 的一阶偏导数
  2. 然后再令一阶偏导数等于0 ,即等式左边项为 0 ,得到了用户矩阵 u_i
  3. 然后就可以同理可得项目矩阵 v_j

我主要是在这里卡主了,不会推导这些公式

3.3 推导过程参考文章

推导过程参考文章:

https://blog.insightdatascience.com/explicit-matrix-factorization-als-sgd-and-all-that-jazz-b00e4d9b21ea

文章从下图开始详细介绍了 ALS 算法的推导过程

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 158,425评论 4 361
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 67,058评论 1 291
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 108,186评论 0 243
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 43,848评论 0 204
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 52,249评论 3 286
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 40,554评论 1 216
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 31,830评论 2 312
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 30,536评论 0 197
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 34,239评论 1 241
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 30,505评论 2 244
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 32,004评论 1 258
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 28,346评论 2 253
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 32,999评论 3 235
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 26,060评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,821评论 0 194
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 35,574评论 2 271
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 35,480评论 2 267

推荐阅读更多精彩内容