数学软件MATLAB课件第六章 非线性规划.pptVIP

障碍函数法 基本思想：在可行区域的边界上筑起一道“墙”，当迭代点靠近边界时，所构造的增广目标函数值陡然增大，于是最优点就被“挡”在可行区域内部了。 仅考虑带不等式约束的问题 当点x从可行域内部趋于可行域边界时，至少有一个gi(x)趋于0。因此下列函数会无限增大 构造障碍函数： 取一个递减且趋于0的正罚函数参数列{dk}(k=1,2,...) 障碍函数法步骤 例 用障碍函数法求解极小化问题 解 取 增广目标函数为： 用解析法求 得无约束优化问题 的最优解为： 因此，罚函数法也称为内点法 罚函数法适用于一般的规划问题，障碍函数法仅适用于带等式约束的规划问题。 罚函数法的优点是方法结构简单，对初始点的选取没有要求，障碍函数法的优点也是方法结构简单，但初始点必须是内点。 缺点：收敛速度慢；工作量大；方法本身造成数值困难。 两种方法优缺点比较： 共轭方向组中最多含n个向量，且线性无关 反之，n维空间的一组基可以构造一组A共轭方向 共轭方向组的构造 由定理知： 二次严格凸函数的无约束最优化问题 定理 6 对于问题(QP)，若 组A共轭方向，则由任意初始点 出发，依次沿 则最多经n次迭代可 得(QP)的整体最优解。 为任意一 进行精确一维搜索， 由任意初始点出发，依此沿某共轭方向组进行一维搜索求解无优化约束的方法叫共轭方向法。 利用迭代点处的负梯度向量为基础产生一组共轭方向，这种方法叫共轭梯度法。 共轭梯度法 首先，取定初始点 x0， 从x0点沿方向p0进行，精确一维搜索求得t0，则 否则，取 （1） 依此进行下去， （2） 共轭梯度法 否则，取 和沿这些方向的迭代点， （4） （3） 从而有 共轭梯度法 （5） （3）可以写成 公式（5）是由Fletcher和Reeves于1964年提出的，称为F-R公式，用公式（5）求解无约束最优化问题最优解的方法简称为F-R法。 第1步 选取初始点x0,给定终止误差 ε0； 第2步 计算 第4步 进行一维搜索，求 t k使得 第3步 F-R法步骤 第5步 计算 第6步 第7步 用F-R公式取 例2 用F-R法求解 解： 利用F-R公式得： 若用某种方法求解(QP)问题，经有限轮迭代可以达到最优解，称此方法具有二次终止性。 F-R法具有二次终止性。 第五节 约束最优化方法 约束最优化问题 的最 优 化条件 简 约 梯 度 法 惩 罚 函 数 法 一、约束最优化问题的最优化条件 定理 1 处可微， 在点 x* 处连续， 在点 x* 划(P)的局部最优解，则存在两组实数 若x*是非线性规 称约束规范条件 Kuhn-Tucker条件，简称K-T条件 特殊地，对于只有不等式约束的非线性规划问题 若x*是局部最优解，则存在实数 对于只有等式约束的非线性规划问题 一、约束最优化问题的最优化条件 现引进Lagrange函数如下： 一、约束最优化问题的最优化条件 定理 2 对于问题(P)，若 在点 x*处连续可微，若可行点x* 满足(P)的K-T条件，且 是凸函数, 是线性函数，则 x* 是(P)的全局最优解。 一、约束最优化问题的最优化条件 二、简约梯度法 假设（1）每个可行点至少有m个大于0的分量 （2）A的任意m列线性无关 简约梯度法的基本思想是Wolfe于1962年提出 二、简约梯度法 基本思想：类似于单纯性法，将当前点xk的m个最大正分量定为基变量，其余的m-n个分量作为非基变量，那么目标函数作为非基变量的函数求负梯度方向，并依据这一方向构造从xk到xk+1的可行下降方向。 二、简约梯度法 称rN为f 在点x处对应于基矩阵B的简约梯度。 首先，求f 对非基变量的梯度 二、简约梯度法 其次，在迭代点xk处依据简约梯度构造可行下降方向 二、简约梯度法 这是因为， 二、简约梯度法 综上所述，利用简约梯度 （*） 定理 3 设f 是可微函数， ， 二、简约梯度法 二、简约梯度法 最后，考察如何从点 xk ∈Dl 沿上面构造的可行下降方向pk进行有效一维搜索。 因而取t的上界为 为使 Wolfe法步骤 Wolfe法步骤 例 用Wolfe法求解极小化问题 解 上面问题可化为下列问题 三、惩罚函数法 罚函数法 障碍函数法 基本思想：利用问题中的约束函数做出适当的带有参数的惩罚函数，然后在原来的目标函数上加上惩罚函数，构造出带参数的增广目标函数，把问题的求解转换为求解一系列无约束非线性规划问题。 罚函数法 考虑问题： 设法适当地加大不可行点处对应的目标函数值，使不可行点不能成为相应无约束极小化问题的