非线性规划

转自 http://dsl4.eee.u-ryukyu.ac.jp/DOCS/nlp/index.html
介绍最速下降法和牛顿法,解决无约束的优化问题,求解最大值/最小值问题。

最速下降法

图片.png

图片.png

示例1
图片.png

示例2
图片.png

图片.png

从算法的稳定性的观点出发, 步幅应该是小的正常数,但是,在这种情况下,收敛变得非常慢,这是不实际的。因此,在使用最速下降法创建实用程序时,通常使用称为“线搜索”的方法来确定步长。但是,本实验未处理直线搜索。

最陡下降法的优点是简单,每一步的计算复杂度低,并且当函数只有一个最小点时可以保证全局收敛,但是解收敛得很慢有一个缺点。同样,当一个函数具有多个最小点时,只会找到几个最小点之一,并且不能保证它是最小点。

牛顿法

等式按照泰勒级数展开


图片.png

图片.png

图片.png

牛顿法通常比最速下降法快得多,特别是当函数是二次函数时,它的优点是可以通过一次迭代获得最优解,但是如果初始值不能足够接近最优值,则可以收敛。但是,存在一个缺点,即计算所花费的时间不能保证, 除非它是正定值,否则不能使用,并且如果不能精确地获得,则 变得不稳定 。此外,与最速下降法不同,牛顿法通常以固定步长1 提供良好的收敛特性。当一个函数具有多个最小点时,与最速下降法相同,仅获得一个最小点而不是最小点。

图片.png
约束优化问题

参见SVM系列第六讲--拉格朗日乘子法

在求解最优化问题中,拉格朗日乘子法(Lagrange Multiplier)和KKT(Karush Kuhn Tucker)条件是两种最常用的方法。在有等式约束时使用拉格朗日乘子法,在有不等约束时使用KKT条件

推荐阅读更多精彩内容