一、什么是偏差和方差
在监督学习中，模型的泛化误差可分解为偏差、方差与噪声之和。
偏差与方差分别是用于衡量一个模型泛化误差的两个方面。
- 偏差：学习算法的期望预测与真实结果的偏离程度，刻画了算法本事的拟合能力
- 方差：度量了同样大小的训练集的变动导致的学习性能的变化，即刻画了数据扰动所造成的影响。
- 噪声则表达了在当前任务上任何学习算法所能达到的期望泛化误差的下界，即刻画了学习问题本身的难度。
“偏差-方差分解” 表明模型的泛化能力是由算法的能力、数据的充分性、任务本身的难度共同决定的。
二、导致偏差和方差的原因
偏差通常是由于我们对学习算法做了错误的假设，或者模型的复杂度不够；
- 比如真实模型是一个二次函数，而我们假设模型为一次函数，这就会导致偏差的增大（欠拟合）；
- 由偏差引起的误差通常在训练误差上就能体现，或者说训练误差主要是由偏差造成的
方差通常是由于模型的复杂度相对于训练集过高导致的；
- 比如真实模型是一个简单的二次函数，而我们假设模型是一个高次函数，这就会导致方差的增大（过拟合）；
- 由方差引起的误差通常体现在测试误差相对训练误差的增量上
深度学习中的偏差与方差
- 神经网络的拟合能力非常强，因此它的训练误差（偏差）通常较小；
- 但是过强的拟合能力会导致较大的方差，使模型的测试误差（泛化误差）增大；
- 因此深度学习的核心工作之一就是研究如何降低模型的泛化误差，这类方法统称为正则化方法。
三、偏差与方差的权衡
给定学习任务：
- 当训练不足时，模型的拟合能力不够，数据的扰动不足以使模型产生显著的变化，此时偏差主导泛化误差；
- 随着训练的加深，模型的拟合能力增强，模型能够学习数据发生的扰动，此时方差逐渐主导泛化误差；
- 当训练充足后，模型的拟合能力过强，数据的轻微扰动都会导致模型产生显著的变化，此时即发生过拟合。
泛化误差与偏差和方差的关系图：
image.png
本文参考：
《机器学习》周志华
ML-机器学习基础
