最优化方法 第三讲(可行方向法).pdfVIP

可行方向法简介 一 可 行 二 Zoutendijk法 方 三 梯度投影法 向 法 四 既约梯度法 一、可行方向法简介  可行方向法是求解约束优化问题的方法之一。通过在可 行域内直接搜索最优解求解约束优化问题，它可看作 无约束优化下降算法的自然推广。  基本思想：从可行点出发，沿着下降的可行方向进行搜 索，求出使目标函数值下降的新的可行点，直到满足终 止条件，得到最优解x*.  基本的迭代步骤 0 k 1. 从可行点 开始迭代，设已得到可行点 x x k k 2. 在 处用某种方法确定一可行下降方向 x d 3. 沿d k 寻找新的迭代点x k 1 x k  d k k 1是可行点且 k ，使得x f (xk 1) f (x k ) ，令k k 1, 转2 ，直到满足终止条件。 一、可行方向法简介  可行方向法的分类 可行方向法的核心是选择可行下降搜索方向和确定搜索步长。 k 搜索方向 的选择方式不同就形成不同的可行方向法： d d k  通过求解一个线性规划来确定 ，如Zoutendijk (约坦狄克)可行方向法、Frank- Wolfe方法等； k  利用投影矩阵直接构造 ，如梯度投影法； d d k  利用既约矩阵直接构造 ，如既约梯度法。  最早的可行方向法是由Zoutendijk 于1960年提出的。 一、Zoutendijk法  可行方向与改进方向 定义 下降方向 对min  ，设 ∈ 是任给一点， ∈ ≠ 0，若存在 0，使得对任意的 ∈ (0, ),有 ( + ) ( ) 则称为 在点 处的下降方向。  T  F0 d f (x ) d 0 称为点 处的下降方向集。如何选择 定义(可行方向)非零向量称为在点 ∈ S的一个可行方向， 如果存在一个数 0，使得对任意的 ∈ (0, ),有 + ∈ S 一、Zoutendijk法  线性约束模型的可行方向