本章节整理的目的，出于对周志华西瓜书学习总结，从中对周志华部分理解的举例，此外添加了部分相关内容和衍生内容，供自己和他人阅读和学习。
第一章绪论
1.1引言
机器学习的定义:致力于研究如何通过计算机的手段，利用经验来改善系统自身的性能
经验与模型的关系:经验（在计算机系统中，叫数据）产生模型（学习算法）,学习算法利用经验（数据）提供相应的判断
1.2基本术语
关于属性、特征等专有名称定义：http://www.jianshu.com/p/2b65f137bd92
http://blog.csdn.net/algorithmguy/article/details/68066279
监督学习和无监督学习：根据训练数据是否拥有标记信息，学习任务可以分为两类，监督学习（分类、回归）和无监督学习（聚类）
分类：预测的是离散值，如“好瓜”“坏瓜”
回归：预测的是连续值，如西瓜成熟度0.65，0.78
聚类：将训练集分成若干组（簇），这些簇可能对应一些潜在的概念划分，如“浅色瓜”“深色瓜”
在聚类学习中，“浅色瓜”“深色瓜”这样的概念我们事先是不知道的，且学习过程中使用的训练样本通常不拥有标记信息
特征向量：即示例，反映事件或对象在某方面的性质。例如：西瓜的色泽，敲声
二分类：正类，反类。样本空间——>输出空间；输出空间={+1，-1}或{0，1}
多分类：|输出空间|>2
回归与分类的不同：
回归问题通常是用来预测一个值，如预测房价、未来的天气情况等等，例如一个产品的实际价格为500元，通过回归分析预测值为499元，我们认为这是一个比较好的回归分析。一个比较常见的回归算法是线性回归算法（LR）。另外，回归分析用在神经网络上，其最上层是不需要加上softmax函数的，而是直接对前一层累加即可。回归是对真实值的一种逼近预测。
分类问题是用于将事物打上一个标签，通常结果为离散值。例如判断一幅图片上的动物是一只猫还是一只狗，分类通常是建立在回归之上，分类的最后一层通常要使用softmax函数进行判断其所属类别。分类并没有逼近的概念，最终正确结果只有一个，错误的就是错误的，不会有相近的概念。最常见的分类方法是逻辑回归，或者叫逻辑分类。
1.3假设空间
归纳学习：广义——>从样例中学习；狭义——>从训练数据学学得概念，亦称“概念学习”或“概念形成”
什么是概念？概念可被看作一个对象或事件集合，它是从更大的集合中选取的子集，或在这个较大集合中定义的布尔函数
概念学习中最基本的布尔概念学习，即对“是”“不是”这样的可表示为0/1布尔值的目标概念的学习
概念学习定义：指从有关某个布尔函数的输入输出训练样例中推断出该布尔函数
假设空间：所有假设组成的空间，这里我们的假设空间由色泽，根蒂，敲声组成，分别取值：3，2，2假设空间大小规模：4*3*3+1=37图中*号表示任意值
1.4归纳偏好
1.为什么需要归纳偏好？
如果没有偏好，所有的假设都是等效的，那么输出的判断将会没有意义，如书上的对瓜的预测时而是好瓜时而是坏瓜，这样的结果没有意义。
2.偏好的作用：产生“正确”的模型
3.怎样引导算法确立“正确的”偏好：奥卡姆剃刀（若有多个假设与观察一致，则选最简单的那个）
奥卡姆剃刀定律：即简单有效原则，说的是，切勿浪费较多东西去做，用较少的东西，同样可以做好的事情。所以，相比复杂的假设，我们更倾向于选择简单的、参数少的假设；同时，我们还希望选择更加简单的模型，使得有效的假设的数量不是很多。
奥卡姆剃刀适用
若更平滑意味着更简单，则选择曲线A，因为曲线A更容易描述
奥卡姆剃刀不适用
在问题出现的机会相同，所有问题同等重要，对于任意两个学习算法，其总误差相等，期望值相同。
NFL定理：指在机器学习中，没有给定具体问题的情况下，或者说面对的是所有问题的情况下，没有一种算法能说得上比另一种算法好。换成我们的俗话讲，就是“不存在放之四海而皆准的方法”。只有在给定某一问题，比如说给“用特定数据集给西瓜进行分类”，才能分析并指出某一算法比另一算法好。这就要求我们具体问题具体分析，而不能指望找到某个算法后，就一直指望着这个“万能”的算法。
NFL定理（天下没有免费的午餐）告诉我们：脱离具体问题谈算法的好坏无意义。
1.5发展历程
推理期
知识期
学习期
统计学习
深度学习
机器学习发展的详细历程：http://blog.csdn.net/zmdsjtu/article/details/52690839
