问题
- 如何选择模型?
- 如何验证模型的实现正确与否?
- 如何评价模型?
模型调整方法
- 增加训练集
- 减少特征数(过拟合)
- 增加新的关键特征(欠拟合)
- 增加多项式纬度(欠拟合)
- 调整lambda值
数据集划分
数据划分为训练集,验证集和测试集, 计算其偏差
诊断偏差和方差
通过训练误差和验证误差来判断是存在偏差还是方差问题。训练和验证误差均高,存在偏差(欠拟合);训练误差低而验证误差高,存在偏差(过拟合)
- 在计算验证误差时,要实用全部验证集
- 在训练时,可以查看训练误差随着数据集增长的变化
正规化的偏差和方差
通过不同的lambda值来考察训练误差和验证误差,从而确定合适的lambda值
学习曲线
通过学习曲线来判断偏差和方差。
错误一直较高,存在偏差问题,增加训练集不能解决问题。
训练和验证集错误存在较大的背离,则增加训练集可能有帮助。