LI和L2范数在机器学习中的应用

参考:https://www.zhihu.com/question/26485586
范数定义:


因此L1范数:

L2范数:

应用一:作为损失函数。

L1-norm 损失函数,又被称为 least absolute deviation (LAD,最小绝对偏差),最小化损失函数,其实就是在最小化预测值 和目标值 的绝对值。



L2-norm 损失函数,又有大名最小二乘误差 (least squares error, LSE):



由于L1-norm损失函数有绝对值,通过求导、置零、解方程获取函数极值不方便,所有通常不用L1-norm作为损失函数。

应用二:作为正则项,防止过拟合。

因为机器学习中众所周知的过拟合问题,所以用正则化防止过拟合,成了机器学习中一个非常重要的技巧。但数学上来讲,其实就是在损失函数中加个正则项(Regularization Term),来防止参数拟合得过好。L1-regularization 和 L2-regularization 便都是我们常用的正则项,两者公式的例子分别如下



这两个正则项最主要的不同,包括两点:

  • 如上面提到的,L2 计算起来更方便,而 L1 在特别是非稀疏向量上的计算效率就很低;
  • 还有就是 L1 最重要的一个特点,输出稀疏,会把不重要的特征直接置零,而 L2 则不会;
  • 最后,如之前多次提过,L2 有唯一解,而 L1 不是。

因为 L1 天然的输出稀疏性,把不重要的特征都置为 0,所以它也是一个天然的特征选择器
可是为什么 L1 会有这样的性质呢,而 L2 没有呢?这里用个直观的例子来讲解。
来一步一步看吧,首先获知用梯度下降法来优化时,需要求导获得梯度,然后用以更新参数。

于是分别先对 L1 正则项和 L2 正则项来进行求导,可得。

之后将 L1 和 L2 和它们的导数画在图上


于是会发现,在梯度更新时,不管 L1 的大小是多少(只要不是0)梯度都是1或者-1,所以每次更新时,它都是稳步向0前进。

而看 L2 的话,就会发现它的梯度会越靠近0,就变得越小。

也就是说加了 L1 正则的话基本上经过一定步数后很可能变为0,而 L2 几乎不可能,因为在值小的时候其梯度也会变小。于是也就造成了 L1 输出稀疏的特性。

推荐阅读更多精彩内容