12 可行方向法.pptVIP

Ch12 可行方向法 解约束问题的可行方向法与求解无约束问题的下降算法类似：可行方向法从问题的可行点出发，在该点的可行方向中，寻找使目标函数下降的方向，然后沿该方向进行线性搜索，得到一个新的可行点。 Ch12 可行方向法 1 Zoutendijk可行方向法 1. Zoutendijk可行方向法 2.1 线性约束情形 1. Zoutendijk可行方向法 怎样选择下降可行方向？ 1. Zoutendijk可行方向法 设非零向量d是 处的可行方向，于是存在??0,使 得对每个???????，有 1. Zoutendijk可行方向法 注意到?0,故有 1. Zoutendijk可行方向法 (12.1.6)和(12.1.7)即 1. Zoutendijk可行方向法 Zoutendijk法把确定搜索方向归结为求解LP: 1. Zoutendijk可行方向法 证明:根据定义, x为KKT点的充要条件是,?w??和v, 使得 1. Zoutendijk可行方向法 令v=p-q, p,q??. (12.1.11)写成 1. Zoutendijk可行方向法 即 1. Zoutendijk可行方向法 第二，使目标函数值尽可能减小。 1. Zoutendijk可行方向法 问题(12.1.15)可作进一步简化。 1. Zoutendijk可行方向法 于是,(12.1.15)中第1个约束可写成： 1. Zoutendijk可行方向法 这样,问题(12.1.15)化简为 1. Zoutendijk可行方向法 由此得到?的上限 1. Zoutendijk可行方向法 1. Zoutendijk可行方向法 若(12.1.26)的最优解 1. Zoutendijk可行方向法 计算步骤 1. Zoutendijk可行方向法 6,置k:=k+1,转2。 1. Zoutendijk可行方向法 例 用Zoutendijk法求解下列问题 1. Zoutendijk可行方向法 第一次迭代： 1. Zoutendijk可行方向法 用单纯形法求得最优解 1. Zoutendijk可行方向法 解一维搜索： 1. Zoutendijk可行方向法 1.2 非线性约束 1. Zoutendijk可行方向法 1. Zoutendijk可行方向法 1. Zoutendijk可行方向法 由上分析,知对充分小的????有 1. Zoutendijk可行方向法 进而归结为求解LP: 1. Zoutendijk可行方向法 设(12.1.31)的最优解为(x*,d*).若z*0,则d*是在x 处的下降可行方向.若z*=0,则我们可以证明相应 的x必为Fritz John点 1. Zoutendijk可行方向法 即 1. Zoutendijk可行方向法 为求步长,求解一维搜索问题: 1. Zoutendijk可行方向法 1. Zoutendijk可行方向法 1.3 Zoutendijk算法的收敛问题 1. Zoutendijk可行方向法 例:考虑下列问题 1. Zoutendijk可行方向法 1. Zoutendijk可行方向法 1. Zoutendijk可行方向法 1. Zoutendijk可行方向法 1.4 Topkis-Veinott修正 1. Zoutendijk可行方向法 Topkis-Veinott 修正算法 1. Zoutendijk可行方向法 2. Rosen梯度投影法 2. Rosen梯度投影法 2 Rosen梯度投影法 Rosen梯度投影法的基本思想:用积极约束系数矩阵的行向量生成一个法向量子空间,将目标函数的负梯度方向正交投影到该法向子空间的正交补中,获得一个使目标函数下降的可行方向;然后,从当前的迭代点出发,沿着使目标函数下降的可行方向搜索,寻找一个新的改进点,直到得到约束优化问题 (LCO)的一个KKT点. 2 Rosen梯度投影法 2 Rosen梯度投影法--算法描述 2 Rosen梯度投影法 例：求解如下约束优化问题: 3 Frank-Wolfe方法 Frank和Wolfe 1956年提出求解线性约束问题的一种算法. 3 Frank-Wolfe方法 12.2 Frank-Wolfe方法 3 Frank-Wolfe方法 3 Frank-Wolfe方法 3 Frank-Wolfe方法 3 Frank-Wolfe方法 2 算法收敛性 3 Frank-Wolfe方法 3 Frank-Wolfe方法 下面定理表明,这序列的每一聚点都是KKT点 计算步骤 3,求解一维搜索问题 Zoutendijk算法映射A是M和D的合成映射. 其中D是确定搜索方向的映射,它定义为: 每给定一个可行点x,通过解(12.1.10),确定下降可行方向