求解二次规划问题的拉格朗日及有效集方法.docVIP

 求解二次规划问题的拉格朗日 及有效集方法 摘要 二次规划师非线性优化中的一种特殊情形，它的目标函数是二次实函数，约束函数都是线性函数。由于二次规划比较简单，便于求解（仅次于线性规划），并且一些非线性优化问题可以转化为求解一些列的二次规划问题，因此二次规划的求解方法较早引起人们的重视，称为求解非线性优化的一个重要途径。二次规划的算法较多，本文仅介绍求解等式约束凸二尺规划的拉格朗日方法以及求解一般约束凸二次规划的有效集方法。 关键字：二次规划，拉格朗日方法，有效集方法。 【目录】 摘要 - 1 - 1 等式约束凸二次规划的解法 - 3 - 1.1 问题描述 - 3 - 1.2 拉格朗日方法求解等式约束二次规划问题 - 3 - 1.2.1 拉格朗日方法的推导 - 3 - 1.2.2 拉格朗日方法的应用 - 4 - 2 一般凸二次规划问题的解法 - 5 - 2.1 问题描述 - 5 - 2.2 有效集法求解一般凸二次规划问题 - 6 - 2.2.1 有效集方法的理论推导 - 6 - 2.2.2 有效集方法的算法步骤 - 9 - 2.2.3 有效集方法的应用 - 10 - 3 总结与体会 - 11 - 4 附录 - 11 - 4.1 拉格朗日方法的matlab程序 - 11 - 4.2 有效集方法的Matlab程序 - 11 - 1 等式约束凸二次规划的解法 1.1 问题描述 我们考虑如下的二次规划问题 (1.1) 其中对称正定，行满秩，，。 1.2 拉格朗日方法求解等式约束二次规划问题 1.2.1 拉格朗日方法的推导 首先写出拉格朗日函数： ，(1.2) 令 ， 得到方程组 将上述方程组写成分块矩阵形式： (1.3) 我们称伤处方程组的系数矩阵 为拉格朗日矩阵。 下面的定理给出了线性方程组(1.1)有唯一解的充分条件。 定理1 设对称正定，行满秩。若在问题(1.1)的解处满足二阶充分条件，即 则线性方程组(1.4)的系数矩阵非奇异，即方程组（1.4）有唯一解。其中，方程组(1.4)为（1.1）对应的齐次方程组： （1.4）. 下面，我们来推导方程(1.3)的求解公式。根据定理1，拉格朗日矩阵必然是非奇异的，故可设其逆为 . 由恒等式 可得 于是由上述四个等式得到矩阵的表达式 因此，由(1.3)可得解得表达式 其中，分别由(1.5),(1.6),(1.7)给出。 下面给出和的另一种等价表达式。设是问题(1.1)的任一可行点，即满足。而在此点处目标函数的梯度为，利用和，可将(1.8)改写为 1.2.2 拉格朗日方法的应用 （1）拉格朗日方法的Matlab程序见附录。 （2）利用拉格朗日方法求解下列问题： 解 容易写出 利用Matlab程序求解该问题可以结果如下： 2 一般凸二次规划问题的解法 2.1 问题描述 考虑一般二次规划 其中是阶对称阵。记，下面的定理给出了问题(2.1)的一个最优性充要条件。 定理2 是二次规划问题(2.1)的局部极小点当且仅当 （1）存在，使得 (2)记 则对于任意的，均有. 容易发现，问题(2.1)是凸二次规划的充要条件是半正定。此时，定理2的第二部分自然满足。注意到凸优化问题的局部极小点也是全局极小点的性质，我们有下面的定理： 定理3 是凸二次规划的全局极小点的充要条件是满足条件，即存在，使得 2.2 有效集法求解一般凸二次规划问题 2.2.1 有效集方法的理论推导 首先引入下面的定理，它是有效集方法理论基础。 定理4 设是一般凸二次规划问题的全局极小点，且在处的有效集为，则也是下列等式约束凸二次规划 的全局极小点。 从上述定理可以发现，有效集方法的最大难点是事先一般不知道有效集，因此只有想办法构造一个集合序列去逼近它，即从初始点出发，计算有效集，解对应的等式约束子问题。重复这一做法，得到有效集序列使之，以获得原问题的最优解。 基于上述定理，我们分4步来介绍有效集方法的算法原理和实施步骤。 第一步，形成子问题并求出搜索方向.设是问题(2.1)的一个可行点，据此确定相应的有效集，其中求解相应的子问题 上述问题等价于 其中设求出问题(2.4)的全局极小点为是对应的拉格朗日乘子。 第二步，进行线性搜索确定步长因子.假设，分两种情形讨论。 (1) 若是问题(2.1)的可行点，即 则令 (2) 若不是问题(2.1)的可行点，则通过线性搜索求出下降最好的可行点。注意到目标函数是凸二次函数，那么这一点应该在可行域的边界上达到。因此只要求出满足可行条件的最大步长即可。 当时，对于任意的，都有和，此时，不受限制。当时，即第个约束是严格的不等式约束，此时要求满足，即 注意到上式右端非正，故当时，上式恒成立。而当时，由上式可解得