MLE,MAP,EM 和 Point Estimation 之间的关系是怎样的?

96
simoncos
0.5 2019.04.16 11:48* 字数 853

关键词:参数估计 | 统计 | 机器学习

原知乎问题

概念图

最近在尝试用thebrain画统计相关的概念图,标题里这几个东西从比较宏观的角度上看,关系大致是下面这样的。

thebrain概念图(局部)

解释

上面的图只是个草稿并且thebrain我用得还不熟练,所以还是要大致解释一下。

首先要有样本(Sample)和总体(Population)的概念,假设我们认为总体对应了一个真实分布,那么总体就有了定义分布需要的参数(Parameter)。因为总体不可见,所以需要通过观察样本(数据)来估计总体的参数,这叫参数估计。

参数估计的结果可以是一个点(Point Estimation),也可以是一个区间(Interval Estimation)。无论是其中哪一类估计,都有多种估计的具体方法(Estimator),不同estimator表达了对最优估计的不同看法(其实estimator是一种目标函数/模型)。

比如,最大似然估计(MLE)和最小均方误差估计(MMSE)都属于点估计的estimator,前者使用了似然(Likelihood)的概念;最大后验概率估计(MAP)也一样,只是它是一种贝叶斯统计/贝叶斯点估计视角下的estimator,引入了贝叶斯定理、先/后验概率的概念。MLE和MAP之间的关系又是一个可以继续展开说的事情了,只提一下和先验概率(Prior Probability)及正则化(Regularization)有关。

期望最大化算法(Expectation-Maximization Algorithm)则是一种可用来求解MLE和MAP的具体算法,它可以通过迭代不断给出新的解(估计值),直至收敛(其实是一种优化方法)。

不严谨的例子

参数估计是说我要通过一个样本(1000个中国人的身高)去估计全部中国人身高(总体)的分布,如果我们猜测(假设)总体满足正态分布,那么可估计的参数之一就是均值μ,另一个是标准差σ;

点估计是说我就猜均值是x,区间估计是说我猜均值落在某个范围;

MLE、MMSE、MAP等是说我认为怎样猜测,猜出来的人均身高是最优的,或者说最优的猜测是什么样的(可以看到猜测的方法无穷无尽,比如算样本均值、找众数,甚至从样本里随机选一个人的身高,都算是一种猜测方法、一种estimator,只是很多一看就知道不靠谱);

EM算法是说你们争论完什么是最优了,那么我们就以这个最优为目标开始算吧,但不是每种最优的定义我EM都能算。

补充:注意上面的两个猜测很重要,意味着我们可能算出一个估计,不代表这个估计是足够好的。比如我们估计的是正态分布的参数,而实际上总体满足幂律分布,这时如何才能知道我们的猜测有问题呢?这就要涉及到假设检验(Hypothesis Testing)了。

理论 Theory
Gupao