文章原创,最近更新：2018-06-20

1.模型
2.策略
3.算法
参考链接:
1、 《深度学习入门六》损失函数减肥用，神经网络调权重

前言：通过网上找的文章,通过归纳总结具体如下:

统计学习方法都是由模型、策略和算法构成的，即统计学习方法由三要素构成，可以简单地表示为:
方法=模型+策略+算法
下面论述监督学习中的统计学习三要素。非监督学习、强化学习也同样拥有这三要素。可以说构建一种统计学习方法就是确定具体的统计学习三要素。

1.模型

统计学习首要考虑的问题是学习什么样的模型。在监督学习过程中，模型就是所要学习的条件概率分布或决策函数。模型的假设空间（hypothesis space）包含所有可能的条件概率分布或决策函数。例如，假设决策函数是输入变量的线性函数，那么模型的假设空间就是所有这些线性函数构成的函数集合。假设空间中的模型一般有无穷多个.
假设空间用F表示，假设空间可以定义为决策函数的集合

其中，X和Y是定义在输入空间x和输出空间y上的变量。这时F通常是由一个参数向量决定的函数族：

2.策略

2.1损失函数

有了模型的假设空间，统计学习接着需要考虑的是按照什么样的准则学习或选择最优的模型。统计学习的目标在于从假设空间中选取最优模型首先引入损失函数与风险函数的概念。损失函数度量模型一次预测的好坏，风险函数度量平均意义下模型预测的好坏.

我们知道，在机器学习中的“有监督学习”算法里，在假设空间中，构造一个决策函数f，对于给定的输入X，由f(X)给出相应的输出Y，这个实际输出值Y和原先预期值Y’可能不一致。于是，我们需要定义一个损失函数（loss function），也有人称之为代价函数（cost function）来度量这二者之间的“落差”程度。这个损失函数通常记作L(Y,Y)= L(Y, f(X))，为了方便起见，这个函数的值为非负数。
常见的损失函数有如下3类：

（1）0-1损失函数（0-1 loss function）：

（2）绝对损失函数（absolute loss function）

（3）平方损失函数（quadratic loss function）

损失函数值越小，说明实际输出和预期输出的差值就越小，也就说明我们构建的模型越好。

对于第一类损失函数，用我自身减肥的例子很容易解释。就是减肥目标达到没？达到了，输出为0（没有落差嘛），没有达到输出1（减肥尚未成功，胖纸还需努力！）

对于第二类损失函数就更具体了。当前体重秤上读数和减肥目标的差值，这个差值有可能为正，但还有可能为负值，比如说，减肥目标为150磅，但一不小心减肥过猛，减到140磅，这是值就是“-10”磅，为了避免这样的正负值干扰，干脆就取一个绝对值好了。

对于第三类损失函数，类似于第二类。同样达到了避免正负值干扰，但是为了计算方便（主要是为了求导），通常还会在前面加一个“1/2”，这样一求导，指数上的“2”和“1/2”就可以相乘为“1”了：

当然，为了计算方面，还可以用对数损失函数（logarithmic loss function）。这样做的目的，主要是便于使用最大似然估计的方法来求极值。一句话，咋样方便咋样来！

或许你会问，有了这些损失函数？有啥子用呢？当然有用了！因为可以用它反向配置网络中的权值（weight），让损失（loss）最小啊。

我们都知道，神经网络学习的本质，其实就是利用“损失函数（loss function）”，来调节网络中的权重（weight）。

2.2风险函数

损失函数值越小，模型就越好。由于模型的输入、输出（X，Y）是随机变量，遵循联合分布P（X,Y），所以损失函数的期望是

这是理论上模型f（X）关于联合分布P（X,Y）的平均意义下的损失，称为风险函数（risk function）或期望损失（expected loss）

学习的目标就是选择期望风险最小的模型。由于联合分布P（X,Y）是未知的，Rexp（f）不能直接计算。实际上，如果知道联合分布P（X，Y），可以从联合分布直接求出条件概率分布P（Y|X），也就不需要学习了。正因为不知道联合概率分布，所以才需要进行学习。这样一来，一方面根据期望风险最小学习模型要用到联合分布，另一方面联合分布又是未知的，所以监督学习就成为一个病态问题（ill-formed problem）

给定一个训练数据集

模型f(X)关于训练数据集的平均损失称为经验风险（empirical risk）或经验损失（empirical loss），记作Remp：

期望风险Rexp（f）是模型关于联合分布的期望损失，经验风险Remp（f）是模型关于训练样本集的平均损失。根据大数定律，当样本容量N趋于无穷时，经验风险Remp（f）趋于期望风险Rexp（f）·所以一个很自然的想法是用经验风险估计期望风险。但是，由于现实中训练样本数目有限，甚至很小，所以用经验风险估计期望风险常常并不理想，要对经验风险进行一定的矫正。这就关系到监督学习的两个基本策略：经验风险最小化和结构风险最小化。

3.算法

算法是指学习模型的具体计算方法。统计学习基于训练数据集，根据学习策略，从假设空间中选择最优模型，最后需要考虑用什么样的计算方法求解最优模型.