牛顿法和梯度下降法的差别
牛顿法：二次逼近
梯度下降法：一阶逼近
牛顿法：对局部凸的函数找到极小值，对局部凹的函数找到极大值，对不凹不凸的函数可能找到鞍点。
梯度下降法：一般不会找到最大值，但同样可能会找到鞍点。
在初始值合理的条件下，
牛顿法的收敛速度＞梯度下降法的收敛速度
牛顿法的计算难度更大（因为需要估计二阶导数）
泰勒展开式：https://baike.baidu.com/item/泰勒公式/7681487?fr=aladdin
即
牛顿法：
对f(x)函数进行二次逼近，即可以开方两次：
，分母代表Hession矩阵：
梯度下降法：
梯度下降法与牛顿法的区别在于梯度下降法是一阶算法。
牛顿法和梯度下降法的本质上都是对目标函数进行局部逼近，所以只能找到局部极值。
