机器学习导论

1.什么是机器学习

略。
直接谷歌:机器学习西瓜书 周志华老师写的

2.机器学习种类

监督式学习:从标注数据中学习预测模型,本质是学习输入到输出的映射统计规律。
主要运用在
分类问题:利用已知训练数据集选择方法学习一个分类器,利用该分类器对新输入实例进行分类。例如图像处理(人脸识别、识花识猫识狗等等),文本分类(正面意见、反面意见,词频分类,垃圾邮件等等)。常用方法:k邻近,感知机,决策树,朴素贝叶斯,逻辑斯蒂回归,支持向量机,神经网络等等。二分类问题常用判断指标:精确率precision,召回率recall ,F1值 。定义概念略,这部分是统计学知识。

标注问题:学习一个模型,使它对观测序列给出标记序列作为预测。自然语言处理广泛运用。常用方法如隐马尔可夫模型,条件随机场。

回归问题:用于预测输入变量和输出变量之间的关系。按输入变量个数可以分为一元回归,多元回归,按输入输出变量之间的关系类型可以分为线性回归,非线性回归。最简单的线性回归其实就是以前中学学过的线性代数学过了。回归问题更多用来预测市场走势、股价、客户满意度等。
李航老师《统计学系方法》第二版里有常用的10种监督学习方法总结

无监督学习:从无标注数据中学习预测模型,本质是学习数据中的统计规律。常用方法有聚类、降维、话题分析、图分析。

强化学习:在与环境的连续互动中学习最优行为策略的机器学习问题。
半监督:利用少量标注、大量未标注数据预测模型
主动学习:机器不断给出实例进行标注,利用标注数据学习预测模型的机器学习问题。

3.代价函数与优化目标

监督学习中,在假设空间F中选取模型f作为决策函数,对于给定的输入X由f(X)给出对应输出Y,输出的预测值f(X)与真实值Y不一定相等,由此给出一个代价函数cost function来度量不一致的程度。而学习的目的就是期望预测值与真实值差距最小,也就是我们预测的结果可以无限接近真实情况。

4.泛化能力

由该方法学习到的模型对未知数据的预测能力,我们称为模型的泛化能力。模型的误差越小,泛化能力越强。
由此我们知道当我们有数据集时,需要对数据进行划分,将它分为测试集train和训练集test。在训练集上进行训练,得到f(X)后与测试集Y进行比较,使误差最小。

5.过拟合

预测学习中,我们希望有一个最合适对模型,其参数能最接近真实模型。然而如果一味追求对训练数据的预测能力,则预测模型的复杂度往往会超过真实模型,表现为对训练集预测完美,但对未知数据预测很差。这种情况称为过拟合。避免过拟合通常会采取正则化或者交叉验证的办法。

6.正则化与交叉验证

正则化就是在函数后面加一个正则项或叫做惩罚项。正则项一般是模型复杂度单调递增函数,即模型越复杂,正则项越大。正则项符合奥卡姆剃刀原理:在所有可能选择的模型中,能够很好的解释已知数据且十分简单的才是最好的模型,也是最应该选择的模型。
交叉验证一般用来选择参数。将给定数据进行切分,重复使用,在此基础上反复训练、测试。切分多少份,就训练多少次。一般情况下,取最后的平均值来得出最优参数,得出最佳模型。

推荐阅读更多精彩内容