个性化推荐系统,第一部分:简单了解个性化推荐系统;

如今已经进入了一个数据爆炸的时代,随着 Web 2.0 的发展, Web 已经变成数据分享的平台,那么,如何让人们在海量的数据中想要找到他们需要的信息将变得越来越难。

在这样的情形下,搜索引擎(Google,Bing,百度等等)成为大家快速找到目标信息的最好途径。在用户对自己需求相对明确的时候,用搜索引擎很方便的通过关键字搜索很快的找到自己需要的信息。但搜索引擎并不能完全满足用户对信息发现的需求,那是因为在很多情况下,用户其实并不明确自己的需要,或者他们的需求很难用简单的关键字来表述。又或者他们需要更加符合他们个人口味和喜好的结果,因此出现了推荐系统,与搜索引擎对应,大家也习惯称它为推荐引擎。

来看下推荐引擎的工作原理:

推荐引擎的工作原理

如上图,一个完整的推荐系统由4个部分组成:

1、推荐对象(物品信息)模块

推荐系统应用于不同的领域,它推荐的对象也就各不相同,如何对推荐对象进行描述对推荐系统也有很重要的影响,推荐对象的描述文件与用户的描述文件密切相关,通常的做法是同样的方法来表达用户的兴趣偏好和推荐对象。

2、 收集用户信息的行为记录模块

负责记录用户的喜好行为,例如问答、评分、购买、下载、浏览等;具体有:

• 用户属性:基本信息,包括社会属性和自然属性,比如用户的姓名、年龄、职业、收入、学历,用用户注册时的自然属性和社会属性进行初始建模。

• 用户手工输入的信息:用户主动提供给提供给系统的信息,包括用户在搜索引擎中输入的关键词,用户输入的感兴趣的主题、频道。

• 用户的浏览行为和浏览内容:浏览次数、频率、停留时间,浏览页面时的操作(收藏、保存、复制等)、浏览时用户表情的变化

• 推荐对象的属性特征:不同的推荐对象,用户建模的输入数据也不同。网页等推荐对象通常考虑对象的内容和用户之间的相似性,而产品等推荐对象通常考虑用户对产品的评价。

3、 分析用户喜好的模型分析模块

通过以上用户行为记录分析用的潜在喜好产品和喜好程度。模型分析模块的功能能够对用户的行为记录进行分析,建立合适的模型来描述用户的喜好信息。

4、推荐算法模块

利用后台的推荐算法,实时地从产品集合中筛选出用户感兴趣的产品进行推荐,其中,推荐算法模块是推荐系统中最为核心的部分。

1)协同过滤系统

1.1基于用户的协同过滤推荐

基本思想:用户选中某个推荐对象是基于朋友的推荐。也就是说如果一些用户对某些对象的评分比较相似,则说明这些用户的偏好相似,那么他们对其他推荐对象的评分应该也是相似的。所以协同过滤推荐首先找到和目标用户兴趣偏好相似的最近邻居,然后根据邻居们对推荐对象的评分来预测目标用户对未评分的推荐对象的评分,选择预测评分最高的若干个推荐对象作为推荐结果反馈给用户

1.2基于项目的协同过滤推荐

基于项目的协同过滤推荐的基本原理也是类似的,只是说它使用所有用户对物品或者信息的偏好,发现物品和物品之间的相似度,然后根据用户的历史偏好信息,将类似的物品推荐给用户

1.3基于模型的协同过滤推荐

利用用户c对众多对象的评分来得到一个用户c的模型,进而对某对象预测打分。和上述两种协同推荐的不同在于对已有数据应用统计和机器学习的方法得到模型进行预测的。

协同过滤系统有以下优点:

具有推荐新信息的能力,可以发现用户潜在的但自己尚未察觉的兴趣偏好;能够推荐艺术品、音乐、电影等难以进行内容分析的产品。

问题:

冷启动问题(缺少历史数据时,如何对新用户进行推荐?如何推荐新产品?)、打分稀疏性问题(实际系统中用户对产品的打分信息非常少)、算法可扩展性问题、基于用户的协同过滤,会随着用户数不断增加之后,计算量加大,算法的性能会下降;亚马逊采用基于产品的协同推荐,能够有效规避这个问题,但如果产品数不断增加的系统,这种方法同样是不适用的。在web应用中,相应速度也是十分影响用户体验的,因为这点比较大的限制了基于用户的协同过滤在实际系统中的使用。


2)基于内容的推荐系统

基于内容的推荐,它是建立在项目的内容信息上作出推荐的,而不需要依据用户对项目的评价意见,更多地需要用机器学习的方法从关于内容的特征描述的事例中得到用户的兴趣资料,再考察用户资料与待预测项目的相匹配程度。

例如,电影推荐中,基于内容的系统首先分析用户已经看过的打分比较高的电影的共性(演员、导演、风格等),再推荐与这些用户感兴趣的电影内容相似度高的其他电影,基于内容的推荐算法的根本在于信息获取和信息过滤。因为在文本信息获取与过滤方面的研究较为成熟,现在很多基于内容的推荐系统都是通过分析产品的文本信息进行推荐。

基于内容推荐方法的优点是:不需要其它用户的数据,没有冷开始问题和打分稀疏问题。能为具有特殊兴趣爱好的用户进行推荐。能推荐新的或不是很流行的项目,没有新项目问题。通过列出推荐项目的内容特征,可以解释为什么推荐那些项目。已有比较好的技术,如关于分类学习方面的技术已相当成熟。

缺点是要求内容能容易抽取成有意义的特征,要求特征内容有良好的结构性,并且用户的口味必须能够用内容特征形式来表达,例如自动提取多媒体数据(图形、视频流、声音流等)的内容特征具有技术上的困难,这方面的相关应用受到了很大限制。



3)混合推荐算法

在现行的推荐往往都不是单纯只采用了某一种推荐的机制和策略,他们往往是将多个方法混合在一起,从而达到更好的推荐效果。如:

• 加权的混合(Weighted Hybridization): 用线性公式将几种不同的推荐按照一定权重组合起来,具体权重的值需要在测试数据集上反复实验,从而达到最好的推荐效果。

• 切换的混合(Switching Hybridization):其实对于不同的情况(数据量,系统运行状况,用户和物品的数目等),推荐策略可能有很大的不同,那么切换的混合方式,就是允许在不同的情况下,选择最为合适的推荐机制计算推荐。

• 分区的混合(Mixed Hybridization):采用多种推荐机制,并将不同的推荐结果分不同的区显示给用户。其实,Amazon,当当网等很多电子商务网站都是采用这样的方式,用户可以得到很全面的推荐,也更容易找到他们想要的东西。

• 分层的混合(Meta-Level Hybridization): 采用多种推荐机制,并将一个推荐机制的结果作为另一个的输入,从而综合各个推荐机制的优缺点,得到更加准确的推荐。一些混合推荐系统都是基于内容的协同过滤算法。即利用用户的配置文件进行传统的协同过滤计算.用户的相似度通过基于内容的配置文件计算而得,而非共同打过分的产品的信息。这样可以克服协同过滤系统中的打分稀疏性问题。这个方法的另一个好处就是不仅仅当产品被配置文件相似的用户打了分才能被推荐,如果产品与用户的配置文件很相似也会被直接推荐。网易云音乐就有用到这个算法去解决冷启动问题,当新用户用新浪微博登录网易云音乐时,会根据微博的信息去做个性化推荐,即使这个时候你什么都没有听过也能推荐音乐给你。

大纲如下:

第一部分:简单了解个性化推荐系统;

第二部分:协同过滤推荐之基于用户的协同过滤推荐(以麦包包为例);

第三部分:协同过滤推荐之基于项目的协同过滤推荐(以亚马逊为例);

第四部分:基于内容的个性化推荐

第五部分:混合的推荐机制

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 158,847评论 4 362
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 67,208评论 1 292
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 108,587评论 0 243
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 43,942评论 0 205
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 52,332评论 3 287
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 40,587评论 1 218
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 31,853评论 2 312
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 30,568评论 0 198
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 34,273评论 1 242
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 30,542评论 2 246
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 32,033评论 1 260
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 28,373评论 2 253
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 33,031评论 3 236
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 26,073评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,830评论 0 195
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 35,628评论 2 274
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 35,537评论 2 269

推荐阅读更多精彩内容