姓名：崔升 学号：14020120005
转载自：http://www.cnblogs.com/en-heng/p/5173704.html
【嵌牛导读】：
朴素贝叶斯（Naïve Bayes）属于监督学习的生成模型，实现简单，没有迭代，学习效率高，在大 样 本量下会有较好的表现。但因为假设太强——假设特征条件独立，在输入向量的特征条件有关联的场 景下并不适用。
【嵌牛鼻子】：经典大数据算法之Naïve Bayes算法的简单介绍
【嵌牛提问】：Naïve Bayes是一种怎么的算法，其数学原理又是如何？
【嵌牛正文】：
1. 朴素贝叶斯算法
朴素贝叶斯分类器的主要思路：通过联合概率P(x,y)=P(x|y)P(y)P(x,y)=P(x|y)P(y)建模，运用贝叶斯定理求解后验概率P(y|x)P(y|x)；将后验概率最大者对应的的类别作为预测类别。
分类方法
首先，我们定义训练集T={(x1,y1),(x2,y2),⋯,(xN,yN)}T={(x1,y1),(x2,y2),⋯,(xN,yN)}，其类别yi∈{c1,c2,⋯,cK}yi∈{c1,c2,⋯,cK}，则训练集中样本点数为NN，类别数为KK。输入待预测数据xx，则预测类别
argmaxckp(y=ck|x)(1)(1)argmaxckp(y=ck|x)
由贝叶斯定理可知：
p(y=ck|x)=p(x|y=ck)p(y=ck)p(x)p(y=ck|x)=p(x|y=ck)p(y=ck)p(x)
对于类别ckck而言，p(x)p(x)是恒等的，因此式子(1)(1)等价于
argmaxckp(x|y=ck)p(y=ck)(2)(2)argmaxckp(x|y=ck)p(y=ck)
从上面式子可以看出：朴素贝叶斯将分类问题转化成了求条件概率与先验概率的最大乘积问题。先验概率p(y=ck)p(y=ck)可通过计算类别的频率得到，但如何计算条件概率p(x|y=ck)p(x|y=ck)呢？
朴素贝叶斯对条件概率做了条件独立性的假设，即特征条件相互独立。设输入xx为n维特征向量(x(1),x(2),⋯,x(j),⋯,x(n))(x(1),x(2),⋯,x(j),⋯,x(n))，第jj维特征x(j)x(j)的取值有SjSj个。由概率论的知识可知：
p(x|y=ck)=∏jp(x(j)|y=ck)p(x|y=ck)=∏jp(x(j)|y=ck)
式子(2)(2)等价于
argmaxckp(y=ck)∏jp(x(j)|y=ck)(3)(3)argmaxckp(y=ck)∏jp(x(j)|y=ck)
为什么要选择后验概率最大的类别作为预测类别呢？因为后验概率最大化，可以使得期望风险最小化，具体证明参看[1]。
极大似然估计
在朴素贝叶斯学习中，需要估计先验概率与条件概率，一般时采用极大似然估计。先验概率的极大似然估计：
p^(y=ck)=∑iI(yi=ck)Np^(y=ck)=∑iI(yi=ck)N
其中，II是指示函数，满足括号内条件时为1否则为0；可以看作为计数。
设第jj维特征的取值空间为{aj1,aj2,⋯,ajSj}{aj1,aj2,⋯,ajSj}，且输入变量的第jj维x(j)=ajlx(j)=ajl，则条件概率的极大似然估计：
p^(x(j)=ajl|y=ck)=∑iI(x(j)i=ajl,y=ck)I(yi=ck)p^(x(j)=ajl|y=ck)=∑iI(xi(j)=ajl,y=ck)I(yi=ck)
贝叶斯估计
在估计先验概率与条件概率时，有可能出现为0的情况，则计算得到的后验概率亦为0，从而影响分类的效果。因此，需要在估计时做平滑，这种方法被称为贝叶斯估计（Bayesian estimation）。先验概率的贝叶斯估计：
p^(y=ck)=∑iI(yi=ck)+λN+kλp^(y=ck)=∑iI(yi=ck)+λN+kλ
后验概率的贝叶斯估计：
p^(x(j)=ajl|y=ck)=∑iI(x(j)i=ajl,y=ck)+λI(yi=ck)+Sjλp^(x(j)=ajl|y=ck)=∑iI(xi(j)=ajl,y=ck)+λI(yi=ck)+Sjλ
常取λ=1λ=1，这时被称为Laplace平滑（Laplace smoothing）。下面提到的拼写检查则用到了Laplace平滑——初始时将所有单词的计数置为1。
2. 拼写检查
当用户在输入拼写错误单词时，如何返回他想输入的拼写正确单词。比如，用户输入单词thew，用户有到底是想输入the，还是想输入thaw？这种拼写检查的问题等同于分类问题：在许多可能拼写正确单词中，到底哪一个时最有可能的呢？大神Peter Norvig [2]采用朴素贝叶斯解决这个拼写问题。
朴素贝叶斯分类
设用户输入的单词为ww，要返回的拼写正确单词为cc，拼写检查要找出最大可能的cc，即
argmaxcp(c|w)argmaxcp(c|w)
p(c|w)p(c|w)可以理解为在已发生ww的情况下发生cc的概率。根据贝叶斯定理：
p(c|w)=p(w|c)p(c)p(w)p(c|w)=p(w|c)p(c)p(w)
贝叶斯分类器可表示为：
argmaxcp(w|c)p(c)argmaxcp(w|c)p(c)
如何估计p(w|c)p(w|c)与p(c)p(c)呢？估计p(c)p(c)的办法可以在文本库中统计单词cc的频率。p(w|c)p(w|c)表示大多数用户在输入cc时拼写错误输入成了ww的概率，可以看作时错误模型。这需要对大量的错误输入进行统计，才能对p(w|c)p(w|c)估计得较为准确。Norvig对此做了简易化的处理：
统计所有与ww编辑距离为1的拼写正确单词，选出在文本库中频率最高者；
若未找到与ww编辑距离为1的拼写正确单词，则统计所有与ww编辑距离为2的拼写正确单词，选出在文本库中频率最高者
若与ww编辑距离为2的拼写正确单词也未找到，则返回ww（即分类失败）。
所谓编辑距离为1，指单词可以通过增加、删除、修改（一个字母）或交换（相邻两个字母）变成另外的单词。上述处理办法默认了：编辑距离为1的拼写正确单词永远比编辑距离为2的更有可能。
存在问题
Norvig所介绍的拼写检查是非常简单的一种，他在博文[2]中指出不足。此外，还有一些需要优化的地方：
上下文关联，比如输入thew，在不同的上下文中可能返回的拼写正确单词不同；
输入媒介，比如用户用键盘输入与用手机的九宫格输入，其拼写错误的方式时不一样的。
3. 参考资料
[1] 李航，《统计学习方法》.
[2] Peter Norvig,How to Write a Spelling Corrector.
