1、监督学习、无监督学习(Supervised Learning and Unsupervised Learning)
1.1机器学习是什么？
一个程序被认为能从经验 E 中学习，解决任务 T，达到性能度量值P，当且仅当，有了经验 E 后，经过 P 评判，程序在处理 T 时的性能有所提升。 — Tom Mitchall
A computer program is said to learn from experience E with respect to some task T and some performance measure P , if its performance on T , as measured by P , improved with experience E. —— Tom Mitchell
1.2监督学习(Supervised Learning)
房价预测
基于这组数据，如果你有一个朋友，他有一套 750 平方英尺房子，现在他希望把房子卖掉，他想知道这房子能卖多少钱
如何应用学习算法？
- 可以在这组数据中拟合一条直线，根据这条线我们可以推测出，这套房子可能卖$150, 000。
- 或者我们不用直线拟合这些数据，用二次方程去拟合可能效果会更好。根据二次方程的曲线，我们可以从这个点推测出，这套房子能卖接近$200, 000。
如何选择学习算法，如何决定用直线还是二次方程来拟合？
监督学习指的就是我们给学习算法一个数据集，这个数据集由“正确答案”组成。
在房价的例子中，我们给了一系列房子的数据，我们给定数据集中每个样本的正确价格，即它们实际的售价然后运用学习算法，算出更多的正确答案。比如你朋友那个新房子的价格。用术语来讲，这叫做回归问题 。
-
试着推测出一个连续值的结果，即房子的价格。一般房子的价格会记作美元，所以房价实际上是一系列离散的值， 但是我们通常又把房价看成实数、标量，所以把它看成一个连续的数值。
回归这个词的意思是，我们在试着推测出这一系列连续值属性。
肿瘤分类
通过查看病历来推测乳腺癌良性与否。如果有人检测出乳腺肿瘤，恶性肿瘤有害而且十分危险，而良性的肿瘤危害却没那么大，人们显然会很在意这个问题。
有 5 个良性肿瘤样本，在 1 的位置有 5 个恶性肿瘤样本。现在有一个朋友很不幸检查出乳腺肿瘤。假设说她的肿瘤大概这么大，那么机器学习的问题就在于你能否估算出肿瘤是恶性的或是良性的概率。用术语来讲，这是一个分类问题
分类指的是，我们试着推测出离散的输出值： 0 或 1 良性或恶性，而事实上在分类问题中，输出的可能不止两个值。比如说可能有三种乳腺癌，所以预测离散输出 0、 1、 2、3。 0 代表良性， 1 表示第一类乳腺癌， 2 表示第二类癌症， 3 表示第三类。
良性的肿瘤改成用 O 表示，恶性的继续用 X 表示。来预测肿瘤的恶性与否。
-
在其它机器学习问题中，可能会遇到不止一种特征，比如肿块密度，肿瘤细胞尺寸的一致性和形状的一致性其他的特征。机器学习算法不仅需要处理 2 种 3 种或 5 种特征，即使有无限多种特征都可以处理 。
上面列举了总共 5 种不同的特征，坐标轴上的两种和右边的 3 种，但是在一些学习问题中，不只是 3 种或 5 种特征。反而是无限多种特征，好让你的算法可以利用大量的特征/线索来做推测。
那怎么处理无限多个特征，怎么存储这些特征？ 以后会讲一个算法，叫支持向量机，里面有一个巧妙的数学技巧，能让计算机处理无限多个特征。
1.3 无监督学习(Unsupervised Learning)
如图所示，数据集中每条数据都已经标明阴性或阳性，即良性或恶性肿瘤。所以，对于监督学习里的每条数据，我们都清楚的知道训练集对应的答案——良性或恶性。
- 无监督学习中没有任何标签或者有相同标签或者就是没有标签。已知的数据集，却不知如何处理，也未告知每个数据点是什么。别的什么都不知道，就是一个数据集。
- 需要从数据中找到某种结构。针对数据集，无监督学习就能判断出数据有两个不同的聚集簇。这是一个，那是一个，二者不同。无监督学习算法会把这些数据分成两个不同的簇，所以叫做聚类算法。
无监督学习或聚集的应用
- 组织大型计算机集群
解析什么样的机器易于协同地工作。如果能让那些机器协同工作，就能让数据中心工作得更高效
- 社交网络的分析
已知朋友的信息，比如经常发 email 的，或是 Facebook 的朋友、谷歌+圈子的朋友，能够自动地给出朋友的分组，即每组里的人们彼此都熟识
