在约束最优化问题中，拉格朗日对偶性将原始问题转换为对偶问题，通过解对偶问题而得到原始问题的解。该方法在统计学习方法中得到广泛的应用
1. 原始问题
假设f(x)，ci(x),hj(x)是连续可微函数，考虑约束最优化问题：
(1)原始问题
引入广义拉格朗日函数：
(2)广义拉格朗日函数
(3)极大原始问题
个人理解：将 α ,β 看成是自变量，求极大值。假设给定某个 x ，如果 x 违反原始问题的约束条件，即存在某个 i ，使得ci(x)>0,或者存在某个 j，使得 hj(w)≠0，则可令 β 使 βhj(x)--->+∞，而将其与各 αi,βi 取为0.
相反，如果x满足公式(1)原始问题的约束条件式，则可知：
广义拉格朗日函数的极小极大问题
原始问题的值
2. 对偶问题
定义
广义拉格朗日函数的极大极小问题
可以将广义拉格朗日函数的极大极小问题表示为约束最优化问题：
原始问题的对偶问题
对偶问题的值
3. 原始问题与对偶问题的关系
讨论原始问题与对偶问题的关系：
最后，补充一个充要条件：
参考
《统计学习方法》李航
