梯度下降算法

一、什么叫梯度

说到梯度下降算法先说一下什么叫梯度,百度百科解释:
向量微积分中,标量场梯度是一个向量场。标量场中某一点上的梯度指向标量场增长最快的方向,梯度的长度是这个最大的变化率。更严格的说,从欧几里得空间RnR的函数的梯度是在Rn某一点最佳的线性近似。在这个意义上,梯度是雅可比矩阵的一个特殊情况。
在单变量的实值函数的情况,梯度只是导数,或者,对于一个线性函数,也就是线的斜率
梯度一词有时用于斜度,也就是一个曲面沿着给定方向的倾斜程度。可以通过取向量梯度和所研究的方向的点积来得到斜度。梯度的数值有时也被称为梯度

二、梯度下降算法

梯度下降是一种以通过在目标函数梯度

的反向上更新模型参数,来最小化模型参数的目标函数
的方法。学习速率
决定了我们前往(局部)极小值的步长。换言之,我们沿着目标函数所构造曲面的斜面按向下的方向走动,直到我们到达山谷。如果你对梯度下降不熟悉,你可以点击此处点击打开链接去了解一篇关于优化神经网络的介绍。

推荐阅读更多精彩内容