机器学习基础(8)- 朴素贝叶斯分类模型

本文主要用于理解朴素贝叶斯模型的原理,并且通过对实际案例的剖析来加深大家的理解。

基本目录如下:

  1. 先导数学知识
    1.1 条件概率
    1.2 贝叶斯定理
    1.3 条件独立

  2. 朴素贝叶斯模型
    2.1 模型原理与流程
    2.2 案例解析

------------------第一菇 - 先导数学知识------------------
在深入模型细节之前,还是先为大家铺垫一下理解该模型所需的先导数学知识。

1.1 条件概率

最基本的高中(初中)的知识,我们用P(A|B)来表示,在事件B已经发生的前提下,事件A发生的概率。若事件AB为独立事件,则我们可以知道,

P(A|B) = P(A)
若AB之间存在一定的关联性,则我们可以知道,

P(A|B) = \frac{P(A,B)}{P(B)}

1.2 贝叶斯定理

伟大的贝叶斯定理如下所示,

P(A|B) = \frac{P(B|A)*P(A)}{P(B)}
该定理其实就是用来求解,已知在事件A发生的情况下B的概率,则交换俩个事件后,我们能通过该定理来求得在事件B发生的情况,事件A的概率。其实要推导上式也很简单,根据上面的条件概率公式,我们能得到,

P(A,B) = P(A|B)P(B) = P(B|A)P(A)
即重新排序一下后面的式子,我们就能推理出贝叶斯定理。

1.3 条件独立

在图模型领域,条件独立的性质能用于简化模型的参数,其最基本的形式可以表达为,

P(X,Y | Z) = P(X|Z)(Y|Z)
上式代表的意思就是,X和Y是条件独立于Z。

------------------第二菇 - 朴素贝叶斯模型------------------

2.1 模型原理流程理解

朴素贝叶斯的分类方法其实就是基于贝叶斯定理与特征条件独立假设的分类方法。对于给定的训练集合,首先基于特征条件独立(朴素由此而来)学习输入,输出的联合概率分布,然后基于学到的,对给定的输入,利用贝叶斯定理求出后验概率最大的输出。把上面的贝叶斯定理,运用在分类问题上,我们可以得到一个浅显易懂的式子,

P(类别|特征) = \frac{P(特征|类别)P(类别)}{P(特征)}

至此,大家应该对该模型有了一个初步的理解印象。接下来,我将详细阐述一下该模型的细节流程。

假设我们的训练集合为,

Data = \{(x_1, y_1), (x_2, y_2), ... (x_i, y_i)\}
其中xN维的向量(即每个输入,都有N维特征),且输入样本之间无干扰,独立分布;输出样本Y = \{c1, c2, ..., c_{k}\}
则根据上述的贝叶斯公式,我们可以计算得出,

P(Y=c_{k} | X = x) = \frac{P(X = x | Y = c_{k})P(Y=c_{k})}{\sum_{k}P(X = x | Y = c_{k})P(Y=c_{k})}

因此,我们的预测分类即为,

y = argmax_{c_{k}}P(Y=c_{k} | X = x)

而对于所有的分类概率来说,其分母都是一致的,且各个特征之间满足条件独立的假设,因此,上式又可以简化为,

y = argmax_{c_{k}}P(Y = c_{k})\prod_{N}P(x^{j}|Y = c_{k})
至此,整套朴素贝叶斯模型已经讲清楚了。肯定有很多数学基础不是太好的小伙伴已经被上面的式子绕晕了,别急,接下来我给大家演算一个案例,想必大家就应该都明白了。

2.2 案例解析

这里我用一个垃圾邮件过滤的case来跟大家演示朴素贝叶斯模型的整个工作原理。假设我们现在有两类邮件,分别为“垃圾邮件”与“正常邮件”。我们手中的训练数据(空格分词)如下,

垃圾邮件(共13个词):

  1. 点击 获得 更多 信息
  2. 购买 最新 产品 获得 优惠
  3. 优惠 信息 点击 链接

正常邮件(共10个词):

  1. 明天 一起 开会
  2. 开会 信息 详见 邮件
  3. 最新 竞品 信息

利用上述语料,我们要去预测
“最新 产品 优惠 点击 链接”
属于哪一类型的邮件?

首先,我们要训练一个朴素贝叶斯模型(计算先验概率)

P(垃圾) = 0.5,P(正常) = 0.5

然后我们针对词库(总共15个),

V = {点击,获得,更多,信息,购买,最新,产品,优惠,链接,明天,一起,开会,详见,邮件,竞品}

中的每一个单词,来分别计算每一个单词在俩个类别中的出现概率(采用加法平滑方法,详见我的另一篇博文 - 机器学习基础(3)- 数据平滑),

P(点击|垃圾) = \frac{2 + 1}{13 + 15},P(点击|正常) = \frac{0 + 1}{10 + 15}

P(最新|垃圾) = \frac{1 + 1}{13 + 15},P(最新|正常) = \frac{1 + 1}{10 + 15}

P(产品|垃圾) = \frac{1 + 1}{13 + 15},P(产品|正常) = \frac{0 + 1}{10 + 15}

P(优惠|垃圾) = \frac{2 + 1}{13 + 15},P(优惠|正常) = \frac{0 + 1}{10 + 15}

P(链接|垃圾) = \frac{1 + 1}{13 + 15},P(链接|正常) = \frac{0 + 1}{10 + 15}

训练完毕后,我们就可以利用上述所计算的概率来计算,

P(垃圾|邮件),P(正常|邮件)

而根据上面介绍的式子,我们可以计算得出,

P(垃圾|邮件) = P(邮件|垃圾)P(垃圾) = P(点击|垃圾)(最新|垃圾)(产品|垃圾)P(优惠|垃圾)P(链接|垃圾)P(垃圾)

同理可以计算得到P(正常|邮件),而基于本语料库,显然,我们可以得到,

P(垃圾|邮件) > P(正常|邮件)
因此我们的模型将这封邮件判别为垃圾邮件。当然,真实的应用场景肯定不会这样连乘(会有underflow的问题),所以一般我们都会加个log改连乘为累加~至此,整个朴素贝叶斯模型的应用案例就算解释清晰了,想必大家对此也有了更深的理解。

简单总结一下本文,先是铺垫讲述了一些基础的数学知识,接着详细阐述了贝叶斯模型的原理并附上了详细的案例解析。希望大家读完本文后对机器学习中的朴素贝叶斯模型这一块有全新的认识。有说的不对的地方也请大家指出,多多交流,大家一起进步~😁

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 158,736评论 4 362
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 67,167评论 1 291
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 108,442评论 0 243
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 43,902评论 0 204
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 52,302评论 3 287
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 40,573评论 1 216
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 31,847评论 2 312
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 30,562评论 0 197
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 34,260评论 1 241
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 30,531评论 2 245
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 32,021评论 1 258
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 28,367评论 2 253
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 33,016评论 3 235
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 26,068评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,827评论 0 194
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 35,610评论 2 274
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 35,514评论 2 269

推荐阅读更多精彩内容