×
广告

凸优化(一)——概述

96
Herbert002
2016.02.15 15:54* 字数 741

〇、说明

最近在学习机器学习方面的算法知识,这里尽量以通俗易懂的方式将其整理一下,一方面以备自己查阅,另一方面如果可以方便他人则更好。

凸优化主要学习《凸优化》(Stephen Boyd等著,王书宁等译)[1]这本书。学习过程中,对其内容的理解时有困惑,也参考一些其他书籍资料。笔者尽量将这部分知识整理地简洁明了,成此系列笔记。

如有错误疏漏,烦请指出。如要转载,请联系笔者,hpf_2006pyy@163.com。

一、什么是凸优化

不严格的说,凸优化就是在标准优化问题的范畴内,要求目标函数和约束函数是凸函数的一类优化问题。

二、重要性

“凸优化在数学规划领域具有非常重要的地位。”

“一旦将一个实际问题表述为凸优化问题,大体上意味着相应问题已经得到彻底解决,这是非凸的优化问题所不具有的性质。”

——《<凸优化>译者序》

凸优化之所以如此重要,是因为:

1、其应用非常广泛,机器学习中很多优化问题都要通过凸优化来求解;

2、在非凸优化中,凸优化同样起到重要的作用,很多非凸优化问题,可以转化为凸优化问题来解决;

3、如上引用所述,凸优化问题可以看作是具有成熟求解方法的问题,而其他优化问题则未必。

三、凸优化知识体系

凸集定义目标函数和约束函数的定义域。

凸函数,定义优化相关函数的凸性限制。

凸优化,中心内容的标准描述。

凸优化问题求解,核心内容。相关算法,梯度下降法牛顿法内点法等。

对偶问题,将一般优化问题转化为凸优化问题的有效手段,求解凸优化问题的有效方法。

四、标准优化问题

五、凸优化问题

附录

A、参考

[1]、《凸优化》,Stephen Boyd等著,王书宁等译

B、相关目录

凸优化(一)——概述

凸优化(二)——凸集

凸优化(三)——凸函数

凸优化(四)——问题求解

凸优化(五)——回溯直线搜索

凸优化(六)——最速下降法

凸优化(七)——牛顿法

凸优化(八)——Lagrange对偶问题

C、时间线

2016-02-15 第一次发布

2016-08-07 修改文章名,重新整理完善

机器学习
Web note ad 1