Intel-ML笔记03 正则化和特征选择

防止欠/过拟合

正则化

ragularization.png

岭回归(ridge regression(L2))

ridge regression(L2).png

Lasso Regression(L1)

Lasso Regression(L1).png

Elastic Net Regularization

Elastic Net Regularization.png

特征选择

  • 正则化通过缩小特征的“贡献”对特征进行选择
  • 特征选择也可以通过移除特征实现
    • 减少特征数目是防止过拟合的方法之一
    • 对一些模型而言,更少的特征意味着更快的训练速度、更短的时间
    • 分辨最关键的特征可以提升模型解释性

递归特征消除(Recursive Feature Elimination)

梯度下降(Gradient Descent)

gradient descent.png

使用线性回归的梯度下降

gradient descent with linear regression.png

随机梯度下降(Stochastic Gradient Descent)

stochastic gradient descent.png

Mini Batch Gradient Descent

一般Batch的规模约为50~256个点


Mini Batch Gradient Descent.png

推荐阅读更多精彩内容