在介绍朴素贝叶斯算法之前，我们来看看关于统计学的一些基础知识：
贝叶斯定理需要先验知识作为支撑，而先验知识需要大量的计算和历史数据，因此在很长一段时间内，无法得到广泛应用。只有计算机诞生以后，它才获得真正的重视。人们发现，许多统计量是无法进行客观判断的，而互联网时代出现的大型数据集，再加上告诉运算能力，为验证这些统计量提供了方便，也为应用贝叶斯定理创造了条件。
条件概率：
同理可得：
即：
全概率公式：
若事件 、
、……
构成一个完备事件组即
，且都有正概率，那么对于任意一个事件A，有如下公式
贝叶斯公式：
贝叶斯公式与全概率公式相反，是在已知 的基础上，求
。
通过对条件概率的简单变形，就可以得到贝叶斯公式：
贝叶斯公式由三部分形成，先验概率、后验概率、似然估计。其中后验概率 = 先验概率 * 似然估计。在上述公式中，是先验概率，
是似然估计，
是后验概率。
所谓先验概率就是在事件A发生之前，我们对B事件概率的一个判断。后验概率则指的是在事件A发生之后，我们对B事件概率的重新评估。似然估计是一个调整因子或者修正参数，在我们计算事件概率的时候，需要不断通过修正参数使得我们所求的概率无限接近于真实概率。
如果似然估计 ，那么表示A事件的发生提高了B事件发生的概率。相反的，如果似然估计
，那么表示A事件的发生降低了B事件发生的概率。
2.朴素贝叶斯模型
从统计学知识回到我们的数据分析。假如我们的分类模型样本是：
即我们有m个样本，每个样本有n个特征，特征输出有K个标签，定义为。从样本我们可以学习得到朴素贝叶斯的先验分布
，条件概率分布
，然后我们就可以用贝叶斯公式得到
:
分析上面的式子， =
即标签
在训练集中出现的频数。但是
是一个复杂的n个维度的条件分布，很难计算。所以为了简化计算，朴素贝叶斯模型中假设n个特征之间相互独立，于是有：
最后回到我们要解决的问题，我们的问题是给定测试集的一个新样本特征
，我们如何判断它属于哪个类型？
贝叶斯模型的目标是后验概率最大化来判断分类。我们只要计算出所有的K个条件概率
然后找出最大的条件概率对应的类别。
3.朴素贝叶斯的目标函数
我们预测的类别是使
最大的类别：
分析上式可知分母是固定值，因此预测公式可以简化为：
接着我们利用朴素贝叶斯的独立性假设，就可以得到通常意义上的朴素贝叶斯推断公式:
4.朴素贝叶斯的参数估计
在朴素贝叶斯算法中，学习意味着估计和
。可以用极大似然估计法估计相应的概率。先验概率
的极大似然估计是：
其中即样本中标签
出现的次数在总样本数
中的占比。
第个特征
可能的取值集合为
，似然函数
即标签中，第
个特征
中各种取值的次数在
标签出现总次数中的占比。
5.拉普拉斯平滑
在用极大似然估计时，可能特征的某些取值在
标签样本中没有出现，这时似然函数为
，同时导致目标函数为
，这会使分类产生偏差。为解决这一问题采用贝叶斯估计：
其中是
标签中第
个特征不重复数值的个数。当
是就是极大似然估计，当
时，称为拉普拉斯平滑。同样，先验概率的贝叶斯估计是:
以上为建立Naive Bayes模型的相关理论知识，具体的实例可以看看，同时感谢作者：
https://bigquant.com/community/t/topic/126054
小伙伴们如果觉得文章还行的请点个赞呦！！同时觉得文章哪里有问题的可以评论一下 谢谢你！
