关于拉格朗日乘子法及KKT条件的探究.docVIP

关于拉格朗日乘子法及KKT条件的探究 姓名：xxx 学号：xxx0 （北京理工大学机械与车辆学院车辆工程，北京 100081） 摘要：拉格朗日乘子法(Lagrange Multiplier)和KKT(Karush-Kuhn-Tucker)条件是求解约束优化问题的重要方法，在有等式约束时使用拉格朗日乘子法，在有不等约束时使用KKT条件。当然，这两个方法求得的结果只是必要条件，只有当目标函数是凸函数的情况下，才能保证是充分必要条件。本文将首先描述拉格朗日乘子法和KKT条件，然后对其进行推导，最后谈谈为什么要这样求最优值。 拉格朗日乘子法及KKT条件概述 通常我们需要求解的最优化问题有如下几类：无约束优化问题，可以写为:; 有等式约束的优化问题，可以写为:; s.t. ; ; 有不等式约束的优化问题，可以写为：; s.t. 对于第(i)类的优化问题，常常使用的方法就是Fermat定理即求取的导数，然后令其为零，可以求得候选最优值，再在这些候选值中验证如果是凸函数，可以保证是最优解。 对于第(ii)类的优化问题，常常使用的方法就是拉格朗日乘子法，即把等式约束用一个系数与写为一个式子，称为拉格朗日函数，而系数称为拉格朗日乘子。通过拉格朗日函数对各个变量求导，令其为零，可以求得候选值集合，然后验证求得最优值。 对于第(iii)类的优化问题，常常使用的方法就是KKT条件。同样地，我们把所有的等式、不等式约束与写为一个式子，也叫拉格朗日函数，系数也称拉格朗日乘子，通过一些条件，可以求出最优值的必要条件，这个条件称为KKT条件。把等式约束和目标函数组合成为一个新的目标函数： 把作为一个新的无约束条件的目标函数来求解它的极值点，所得结果就是满足约束条件的原目标函数的极值点。其中称为拉格朗日函数。 函数具有极值的必要条件为： 可得个方程，从而解得和共个未知变量的值。由上述方程组求得的是函数极值点的坐标值。 KKT条件 工程上大多数优化问题都可表示为具有不等式约束条件的优化问题，求解此类问题的目标函数极值点一般用KKT条件。 首先，设计变量为n维变量，它受有q个不等式约束，p个等式约束。然后把所有的不等式约束、等式约束和目标函数全部写为一个函数： 对求导，得以下极值条件： 其中，是对应于不等式约束的拉格朗日乘子向量，并有非负的要求。 对于仅有等式约束的优化问题，上式 中省去，即变为等式约束的拉格朗日乘子法。所以说KKT条件是拉格朗日乘子法的泛化。 KKT最优化条件是Karush[1939]以及Kuhn和Tucker[1951]先后独立发表出来的。这组最优化条件在Kuhn和Tucker发表之后才逐渐受到重视, 因此许多书只记载成[Kuhn-Tucker 最优化条件 (Kuhn-Tucker conditions)]。 2. 拉格朗日乘子法及KKT条件的推导 2.1拉格朗日乘子法的推导 为推导简便起见，考虑两变量目标函数在单个等式约束条件下的最优化问题。 一方面，在极值点处必满足： （2.1.1） 故有： （2.1.2） 另一方面，由于，故有： （2.1.3） 由以上两式可得： （2.1.4） 不妨令 （2.1.5） 则有 （2.1.6） 令，那么下面两个问题是互相等价的： （2.1.7） 这是因为函数H存在极值的必要条件为 （2.1.8） 而上式的结果恰与式（2.1.6）及是等价的。 这样就将原约束问题转为一个无约束的最优化问题，通过求解函数的极小值完成对极小值的求取。 以上推导对于一般的多变量目标函数和多个等式约束情形推导过程类似，其结论也是不变的。此时引入的拉格朗日乘子向量中乘子的个数等于等式约束的个数。 2.2 KKT条件的推导 2.2.1一元函数在给定区间上的极值条件 对于一元函数在给定区间上的极值问题，可以写成具有不等式约束条件的优化问题： s.t. 为了能应用拉格朗日乘子法来讨论此问题的极值条件，需引入松弛变量使不等式约束变成等式约束。设和为两个松弛变量，则上述两个不等式约束可写成如下的两个相应的等式约束 这样则得该问题的拉格朗日函数 其中的和是对应于不等式约束条件的拉格朗日乘子，应满足非负的要求，即 根据拉格朗日乘子法，此问题的极值条件是 分析可知，此时不是，就是。当时，，约束起作用，即为的情况。当时，，约束不起作用，即为的情况。通过以上分析可得 这说明对于和，二者至少必有一个需要取零值，因此可将的条件写成。 同样，对于的分析结果也可表示为 因此，可将的条件写成。 这样，对于一元函数在给定区间上的极值条件，就可完整地表示为 从以上分析可以看出来，对于不起作用约束的拉格朗日乘子取零值，因此可以用约束的下标集合。当时，两个约束均不起作用，，。当,第一个约束