L0范数和L1范数 L0范数是指向量中非零元素的个数，如果用L0规则化一个参数矩阵W，就是希望W中大部分元素为0，实现稀疏 L1范数是指向量中各...

结构风险最小化： 在经验风险最小化的基础上，尽可能采用简单的模型，以此提高泛化预测精度。 经验风险最小化： 根据已有样本，训练模型使得预测结果，...

基本动机：尝试学习出一个合适的距离度量 马氏距离： 表示数据的协方差距离。它是一种有效的计算两个未知样本集的相似度的方法。与欧氏距离不同的是它考...

是一类借鉴了拓扑流形概念的降维方法。 流形是在局部与欧式空间同胚的空间，它在局部具有欧式空间的性质，能用欧氏距离来进行距离计算。若低维流形嵌入到...

密采样：任意测试样本X在附近任意小的ε距离范围内总能找到一个训练样本 低维嵌入：人们观测或者收集到的数据样本虽是高维的，但与学习任务密切相关的仅...

详见http://www.cnblogs.com/JeffreySun/archive/2010/06/24/1627247.html，讲解的非常详细

试图在不同层次对数据集进行划分，从而形成树形的聚类结构。自顶向下或自底向上均可 AGNES :自底向上 初始所以样本为一个簇，每一步合并距离最近...

假设聚类结构能通过样本分布的紧密程度确定。 DBSCAN 基于一组“领域”参数来刻画样本分布的紧密程度 ε-领域：对xj属于D，其领域包含样本集...

LVQ 试图找到一组原型向量来刻画聚类结构，但与一般聚类算法不同的是，LVQ假设数据样本带有类别标记，学习过程利用样本的这些监督信息来辅助聚类。...