①Similarity Measure

相似度的衡量方法：
Euclidean Distance（欧几里得距离）：
Mahalanobi Distance（马氏距离）：，其中Q是一个半正定的协方差矩阵，是多维度数据之间的方差。马氏距离比高斯距离考虑的更全面，因为他把数据的维度和数据的大小都考虑了进来。中间的Q矩阵就是起到这个作用，
Cossim Similarity:这个是余弦距离，常用于在文本向量相似度的比较之中。
Jccard Coeffcient：这个比较方法常用于在集合的对比，也就是推荐系统的优良性度量里面。

②Nearest Neighbor

Two competing Principles:
①拟合数据并且得到较低的in-sample error
②in-sample error必须是可信的，可以作为out-of-sample的估计
规则：用最近邻的k个点的变量的类别来指定当前点的类别
Voronoi图：是由一组连续的两邻点直接的垂直平分线组成的连续多边形。
最近邻算法不需要训练过程，所以它是可以实现In-sample error为0的，因为in-sample error就是训练集里面产生的。

③VC Dismension

由于kNN算法理论上是可以拟合任何数据，所以它是可以shatter任何数据，所以它的VC维是无限的，这和凸边型是一样的。

④Feasible of Nearest

在KNN里面的label是一个固定的值，它的概率是百分之一百，我们假设他和logistic regression一样，label是由一定的概率组成。，当
再假设



因为f(x)是我们的最优分类器，所以上面的就是我们能够对一个点做到最好的的结果了。

上面就是最好情况，现在来看看普通情况：

这个时候x的类别是由离x最近的那个点决定的。所以：



当N足够大的时候，在一个有限的空间里面，和可以无限接近，那么，两边取期望：


这只是一种大概的证明方法，如果要更加细致一点：
首先由，回到上面的式子：
，两边取期望：

如果上面的不等式满足N是非常大的一个数，而且是平滑的而且是连续的，那么，所以后面那一项就可以去掉了。

⑤The power of the nearest neighbor

KNN的能力上面已经证明过了，虽然VC维是无穷，以至于表面上看起来没有上面作用，但是实际证明已经表面他的最高错误界限是最优的两倍，也就是说他至少是可以做到最优化分类器的两倍。
K参数控制了这个模型的复杂度，大的K可以使我们得到更加平滑的结果。当k = N的时候，那么整一个分类器就是一个常数的了。

⑥Proper K value

一般是K = 3就够了：

⑧Improving the efficiency of Nearest Neighbor

对于KNN，有好处也有坏处。
不需要任何的训练过程，直接就可以运行，但是他的训练复杂度转移到了预测上面。优化方法有两个:

Data Condensing

数据压缩，按照最完美的方法，完美要求保留下来的数据集S要和原来的数据空间是一样的，也就是R整体实数，这是一个很苛刻的条件，基本达不到，所以退一步，只要求保留下来的数据集S和训练集空间上匹配就好了，也就是和训练集得到的预测结果一样即可。

Condensed nearest neighbor algorithm

1.初始化压缩数据集S为随机的K个来自训练集的点。
2.选择一个点，使得这个点在训练集合压缩集上的分类不是一致的。
3.把这个不一致点的最近的点放进压缩集
最多重复N步。

Data Editing and Data Condensing
Data Editing是数据编辑，是去掉噪音点，如果有一个点是和大致数据走向是不一致点的，那么这个点很有可能就是噪音点。
Data Condensing是数据压缩，把一些多余的点去掉减少计算复杂度。

Efficient Search

首先要提到的就是分支界限法：
1.把整一个数据集S分成和
2.如果当前点到的中心的距离比到的中心要短，我们就可以忽略了。
3.假设a是在集合的最近点，如果存在，那么a就是最近点了。

Cluster algorithm for Technique above

前面的算法提到了需要聚类，现在就来提一下聚类算法。
目标是选择M个聚类出来。
1.随便选择一个初始点作为中心点。
repeat：
2.选择一个离当前的中心点最远的点，作为第二个中心点，直到凑够了M个中心点。
end;
3.用在当前聚类里面的均值来更新中心点，直到收敛即可。

⑧Nonparametric and Parametric

无参数的模型：
1.没有参数。
2.一般是存储训练数据作为预测使用。
3.如果k或者N选择适当的话，是一定收敛的。
收敛性是无参模型的一大特征。
参数模型：
1.有参数
2.使用一些参数来代表从训练数据里面学习的信息，而无需存储训练数据。
3.只有假设集包含了target function的情况下才会收敛，否则是不会收款的。
半参数模型：
1.需要特定的参数
2.总是会收敛
最典型的参数模型就是线性回归了，逻辑回归，SVM都是，而无参模型就是KNN，半参模型神经网络就是。因为神经网络在理论上是可以拟合任何的数据。

⑨The Confusing Matrix

混淆矩阵是一种可以用来痕量分类效果的一种方法。

⑩KNN for regression

做回归就很简单了，直接可以使用K个最近点的均值即可。
如果k=1的时候，那么函数就会是阶梯型的阶梯函数。当，函数是一个常数。

11.Radial Basis Function

在KNN里面，只有K个最近点会影响x的类别判断。在RBF里面，所以的点都会不同程度的为当前点做出贡献。常用的核函数有两个：高斯核，window。

高斯函数

一般我们看到的都是归一化之后的，但是这里还不需要，后面的密度估计会需要了。另外一个重要的组成部分就是r，scale。这是指定了核函数的宽度。

意思是r是长度的单位，也就是随着x增长而增长的单位长度。scale r越小，那么我们会越重视近距离点的贡献。

window 函数

代会原式子其实就是KNN本身。

12.RBF Networks

解释的两个方向：

一个就是刚刚的式子。这样是把高斯函数隆起的这个小山峰放在当前判断的x点上：

这样就是把高斯函数的小山峰放在了每一个点x上，在X点处就是对x左的贡献：

13.overfitting

N个参数，对于数据的拟合能力肯定是很强的了，那么过拟合的可能性肯定很高，这个时候就需要处理过拟合的问题了。
解决办法很简单，既然是参数多，那么减少一点参数即可：

偏执项是需要的，如果没有偏执项，在类别的均值不是0的话，整个学习曲线可能会变的扭曲。需要注意的是因为u是在高斯函数里面，所以u参数不是线性的，也就是说这个时候运行基础函数是依赖于参数的，这种情况下对于模型的性能提升是很大的。k指定的是假设集的大小，r值的就是一个假设的复杂度。

14.Learning for RBF Networks

根据上面的各种需求就可以求导即可，比如regression，或者是带regular的regression直接套公式即可。

15.KMean均值

上面RBF Network的第一步就是要确定中心点，这里就可以使用k均值算法了。

对上述式子求导即可。

16.Probability Density Estimation

x的概率密度是将聚类推广到更精细的表达。密度估计的任务是估计对于给定的x点有多少可能会生成和x相似的点。要知道这个问题，就需要知道数据集里面有多少个和x相似的点。这里的相似度指的其实是距离。

①直方图

把当前空间分成m个相等大小而互不相交的立方体，然后计算每一个立方体里面的点的个数：

②KNN

比如要计算x的密度，那么在x点按圆形扩张，知道包含了k个点，然后按照如下公式：

RBF估计

继承了高斯函数形状以及收敛性，如果想要减少bump的话是可以增大scale r的。

17.GMMs

高斯混合模型。一个数据点是有多高斯模型互相贡献而成的，需要求这些高斯模型的参数。