转自 http://dsl4.eee.u-ryukyu.ac.jp/DOCS/nlp/index.html
介绍最速下降法和牛顿法，解决无约束的优化问题，求解最大值/最小值问题。
最速下降法
图片.png
图片.png
示例1
图片.png
示例2
图片.png
图片.png
从算法的稳定性的观点出发， 步幅应该是小的正常数，但是，在这种情况下，收敛变得非常慢，这是不实际的。因此，在使用最速下降法创建实用程序时，通常使用称为“线搜索”的方法来确定步长。但是，本实验未处理直线搜索。
最陡下降法的优点是简单，每一步的计算复杂度低，并且当函数只有一个最小点时可以保证全局收敛，但是解收敛得很慢有一个缺点。同样，当一个函数具有多个最小点时，只会找到几个最小点之一，并且不能保证它是最小点。
牛顿法
等式按照泰勒级数展开
图片.png
图片.png
图片.png
牛顿法通常比最速下降法快得多，特别是当函数是二次函数时，它的优点是可以通过一次迭代获得最优解，但是如果初始值不能足够接近最优值，则可以收敛。但是，存在一个缺点，即计算所花费的时间不能保证， 除非它是正定值，否则不能使用，并且如果不能精确地获得，则 变得不稳定 。此外，与最速下降法不同，牛顿法通常以固定步长1 提供良好的收敛特性。当一个函数具有多个最小点时，与最速下降法相同，仅获得一个最小点而不是最小点。
图片.png
约束优化问题
在求解最优化问题中，拉格朗日乘子法（Lagrange Multiplier）和KKT（Karush Kuhn Tucker）条件是两种最常用的方法。在有等式约束时使用拉格朗日乘子法，在有不等约束时使用KKT条件
