机器学习数学拉格朗日对偶问题.PDF

机器学习数学 ：拉格朗日对偶问题 对偶问题是利用拉格朗日对偶性将原始问题转换为对偶问题，通过解对偶问题得到原始 问题的解。优点是：  对偶问题往往更易于求解  自然引入核函数，推广到非线性分类问题的求解 原始问题 我们以硬间隔 svm 的原始问题为例，求解一个约束最优化问题： （注：这个问题用二次规划求解时复杂度与 x 的维度有关） 我们将这个问题一般化： (1) (2) (3) 称此约束最优化问题为原始最优化问题或原始问题. 步骤： 1. 原始问题与广义拉格朗日函数的极小极大问题转化 2. 对偶问题，广义拉格朗日函数的极大极小问题 3. 对偶问题≤原始问题，原始问题的解可以用对偶问题的最大值表示 4. 补充：（KKT 条件）强对偶，对偶问题=原始问题 原始问题与广义拉格朗日函数的极小极大问题转化 这里 x 看作是一个定值， 方程式关于 α 和 β的函数 这里下标 P 表示原始问题. p*= 定义原始问题的最优值 p* ∗ 对偶问题 （原问题的拉格朗日对偶）与广义拉格朗日函数的极大极小问题 对偶 强弱对偶性的鞍点解释 slater 条件： slater 条件官方正规定义：存在 x ，使得不等式约束 g(x)=0 严格成立。 slater 条件性质： slater 条件是原问题 P 可以等价于对偶问题Q 的一个充分条件， 该条件确保了鞍点的存在。 KKT 条件： 大家已经知道 slater 条件已经确保了鞍点的存在，但是鞍点不一定就是最优 解啊，所以 KKT 条件的作用便体现出来了。 KKT 条件便是确保鞍点便是原函数最优解的充分条件，当然对于我们