×
广告

凸优化(七)——牛顿法

96
Herbert002
2016.08.08 17:23* 字数 779

〇、说明

凸优化主要学习《凸优化》(Stephen Boyd等著,王书宁等译)[1]这本书。学习过程中,对其内容的理解时有困惑,也参考一些其他书籍资料。笔者尽量将这部分知识整理地简洁明了,成此系列笔记。

如有错误疏漏,烦请指出。如要转载,请联系笔者,hpf_2006pyy@163.com。

一、简介

用目标函数的二阶泰勒展开近似该目标函数,通过求解这个二次函数的极小值来求解凸优化的搜索方向。

二、推导

2.1、牛顿法推导

图1[1]

2.2、Hessian范数下的最速下降方法

这从另一个角度揭示了为什么Newton步径是好的搜索方向了。

这里我没有去查找证明过程,我觉得只要知道就可以了,因为这有助于理解最速下降方法(《凸优化(六)——最速下降法》)。

三、优势

在实际应用中,牛顿法往往比梯度下降法有更少的迭代次数。

2.2已经从一个角度说明了Newton步径是好的搜索方向。

知乎问答《最优化问题中,牛顿法为什么比梯度下降法求解需要的迭代次数更少?》[2]这篇也讲了一些,其中,排名第一的引自Wiki的“从几何上说,牛顿法就是用一个二次曲面去拟合你当前所处位置的局部曲面,而梯度下降法是用一个平面去拟合当前的局部曲面,通常情况下,二次曲面的拟合会比平面更好,所以牛顿法选择的下降路径会更符合真实的最优下降路径”,比较有说服力和概括性。

图2[2]

图2形象地说明了牛顿法和梯度下降法的区别,红色为牛顿方法搜索路径,绿色为梯度下降法搜索路径。

四、拟牛顿法

牛顿法需要计算目标函数Hessian矩阵的逆矩阵,运算复杂度太高,计算效率很低,尤其维数很大时。拟牛顿算法的核心思想用一个近似矩阵替代逆Hessian矩阵。

五、等式约束的牛顿法

附录

A、参考

[1]、《凸优化》,Stephen Boyd等著,王书宁等译

[2]、《最优化问题中,牛顿法为什么比梯度下降法求解需要的迭代次数更少?》

B、相关目录

凸优化(一)——概述

凸优化(二)——凸集

凸优化(三)——凸函数

凸优化(四)——问题求解

凸优化(五)——回溯直线搜索

凸优化(六)——最速下降法

凸优化(七)——牛顿法

凸优化(八)——Lagrange对偶问题

C、时间线

2016-08-08 第一次发布

机器学习
Web note ad 1