前言
由于 Spark MLlib 中协同过滤算法只提供了基于模型的协同过滤算法，在网上也没有找到有很好的实现，所以尝试自己实现基于物品的协同过滤算法（使用余弦相似度距离）
算法介绍
基于物品的协同过滤算法是目前业界应用最多的算法，亚马逊网、Netflix、Hulu、YouTube 都使用该算法作为推荐系统的基础算法。算法核心思想是根据用户对物品的历史行为记录，先计算物品之间的相似度，得到与物品最相似的 TopN 个物品，再利用用户对物品的历史行为，将用户访问过的物品的相似物品推荐给用户。也就是说，算法分为 2 步：
- 计算物品之间的相似度
- 为用户生成推荐列表
计算物品之间的相似度
计算物品的相似度有很多种算法，如余弦相似度、皮尔森相关度、欧式距离相似度、Tanimoto系数等，这里我们使用的是余弦相似度。
假设有向量A（x1,x2,...xn）和向量B（y1,y2,...yn）,A、B 之间的余弦相似度为：
如果物品少这样计算没关系，但设想如有 100W 的物品，需要计算物品间的两两相似度，计算量大概是 100W x 100W，基本无法计算。
虽然物品很多，但并不是每两个物品都有被相同的用户访问过， 也就是说，很多物品直接余弦相似度等于0，为了避免这些计算，我们引入倒排表来解决这一问题。
假设有物品 Item1、Item2、Item3、Item4，用户 U1、U2、U3、U4：
Item1 被 U1、U2 访问，偏好分分别是2、3，转化为向量是（2，3，0，0）
Item2 被 U3、U4 访问，偏好分分别是1、4，转化为向量是（0，0，1，4）
Item3 被 U2，U3 访问，偏好分分别是2、2，转化为向量是（0，2，2，0）
Item4 只被 U3 访问，用户对其的偏好分是5，转化为向量是（0，0，5，0）
- 先计算每个 Item 的模，即上图余弦相似度公式中的分母部分，缓存
| Item1 | = √(22 + 32) = √13
| Item2 | = √17
| Item3 | = √8
| Item4 | = 5
- 转化为用户访问物品关系，将相同用户访问过的 Item 列出，即：
U1：Item1(2)
U2：Item1(3)，Item3(2)
U3：Item2(1)，Item3(2)，Item4(5)
U4：Item2(5)
- 针对同一用户，计算两两物品之间的相似度，输出<物品对，分数>，即：
U1：输出空
U2：输出 <(Item1, Item3), 3x2=6>
U3：输出 <(Item2, Item3), 2>，<(Item2, Item4), 5>，<(Item3, Item4), 10>
U4：输出空
注意：可以将所有物品对 id 小的放前面，以减少后面一半的计算量
- 将物品对作为 key 聚合，将分数相加，得到每个物品对的分数和，即上图余弦相似度公式中的分子部分。再从缓存中取出分母部分相除，即两两物品的相似度。如 Item2 和 Item4 的余弦相似度=5/(√17 x 5) = 1/√17
- 如果要取物品的 TopK 相似的物品，可将得到的两两相似度结果（其实是半个相似度矩阵）扩展，然后按 key 聚合取 TopK 个。另外，实践表明针对同一物品，如果将相似度进行归一化 similaryi/similarymax 有助于提高最终推荐结果的精度。
为用户生成推荐列表
现在已经有每个物品的 TopK 个相似的物品信息，结合用户对物品的访问情况，将用户访问过的每个物品的相似物品取出，按相似度加权，排除已经访问过的物品，就可以得到用户的推荐列表，具体计算步骤如下：
- 将<物品，相似物品列表> 与 <物品，访问过该物品的用户列表> join，得到<物品，（相似物品列表，访问过该物品的用户列表）>
- 交叉遍历相似物品列表和访问过该物品的用户列表，得到很多 <用户，（物品，分数）>
- 按用户聚合，将相同物品的分数相加，按分数排序，取 TopK，即该用户的推荐列表
实现
基于以上的算法，本人尝试用 java 实现，代码放在 GitHub，希望读者指正。
