以Kmeans和GMM为例，阐述EM思想。
Kmeans
kmeans是一种相当简单和直观的聚类算法，主要分类两步：
- 对于每个点，选择离他最近的聚类中心作为他的类别：
- 对于每个类别，求解聚类这个类的聚类中心：
虽然算法很简单，但是我们还是需要回答一个很基本的问题，这个算法会收敛吗？
我们定义一个distortion function：
这个函数衡量了点到对应的聚类中心的距离平方和，实际上，我们的kmeans算法能使得distortion function不断减小，具体来说：
- 第一步是在
固定的情况下，我们通过
不断减小
- 第二步是在
因此，一定是单调递减的，因此也保证了算法的收敛性。
但在实际应用中，kmeans算法并不能保证全局最优解，同时可能存在着震荡，这是因为我们的优化目标不是一个凸函数。而kmeans算法的每一步都是在寻找局部最优解（local optima），因此，最好的办法是多次重复该算法，并选择最小的
。
GMM
Model
假设我们有一系列训练集，我们需要使用非监督学习的方法 进行训练。
我们将这些数据建模成联合分布的形式：。
- 在这里，
Multinomial
(where
），也就是我们的隐变量
- 在给定
的条件下，假设
因此，我们首先需要通过随机变量产生一个
，然后再从对应的高斯分布中产生
，这种模型被称为高斯混合模型。
不难得到，对于这个模型来说，我们的参数为 and
。写成似然函数的形式：
但很遗憾的是，如果我们直接对这个似然函数求导，无法得到一个cloed form。
If 
is observed
但如果我们的隐变量是已知的呢，我们是不是就很容易求解了呢？
我们重写似然函数为：
带入假设的分布，不难求得：
因此，如果我们已知，那么MLE几乎和之前的高斯判别模型完全一致了。
但实际上，是未知的，那么怎么办呢？
EM algorithm
我们使用EM思想来处理。EM是一种迭代的算法，主要有两个步骤：
- E步：通过期望去guss
- 实际上我们是通过后验概率来进行估计：
- 在这里，我们分子上的概率都可以直接得到，因此可以得到
的概率，也就是
soft assignments
- 实际上我们是通过后验概率来进行估计：
- M步：通过已知的
我们会发现，EM算法和kmeans有着很微妙的关系，除了在E步时，kmeans使用了hard cluster assignments而不是soft assignments，也就是对每个点分配了一个类别而不是概率，其他的都完全一样。
因此，EM也是一种local optima的算法，因此随机初始化参数可能会得到不同的结果。
但对于EM而言，还有两个问题没有解决：
- E步时，如何来估计隐变量是一种较好的选择？
- 如何保证算法的收敛性？
这些内容在下一篇博客会详细介绍。
