《北邮最优化课件12可行方向法》教学课件.ppt

* 最优化理论 * 1. Zoutendijk可行方向法 即 (12.1.33) 无解. 即 x是Fritz John点. 由Gordan定理,其无解的充要条件为 * 最优化理论 * 1. Zoutendijk可行方向法 为求步长,求解一维搜索问题: 计算步骤 * 最优化理论 * 1. Zoutendijk可行方向法 3,求解一维搜索问题 * 最优化理论 * 1. Zoutendijk可行方向法 1.3 Zoutendijk算法的收敛问题 Zoutendijk算法映射A是M和D的合成映射. 其中D是确定搜索方向的映射,它定义为: 每给定一个可行点x,通过解(12.1.10),确定下降可行方向d,从而得到(x,d),即 (x,d)?D(x) 因此,D是En到En×En的映射.M是一维搜索的映射,它是En×En 到En的映射,即每一个点x和一下降可行方向d,通过求解问题 Min f(x+ ?d ) s.t. x+ ? d ?S ??? (S为可行域), 注意:D和M不一定是闭映射 确定最优解y(在连接x和x+?max d的线段上),y?M(x,d). * 最优化理论 * 1. Zoutendijk可行方向法 例:考虑下列问题 * 最优化理论 * 1. Zoutendijk可行方向法 * 最优化理论 * 1. Zoutendijk可行方向法 * 最优化理论 * 1. Zoutendijk可行方向法 * 最优化理论 * 1. Zoutendijk可行方向法 1.4 Topkis-Veinott修正 Topkis和Veinott对Zoutendijk算法进行了修正.把 求方向的LP换为: * 最优化理论 * 1. Zoutendijk可行方向法 Topkis-Veinott 修正算法 * 最优化理论 * 1. Zoutendijk可行方向法 4,求解一维搜索问题 * 最优化理论 * 2. Rosen梯度投影法 * 最优化理论 * 命题 (1)投影矩阵大特征根或者为0,或者为1; (2)矩阵P为(正交)投影矩阵当且仅当I-P为(正交)投影 矩阵; (3)对于正交投影矩阵P,其值空间R(P)和N(P)是互补且正交的线性子空间. 2. Rosen梯度投影法 * 最优化理论 * Rosen梯度投影法的基本思想:用积极约束系数矩阵的行向量生成一个法向量子空间,将目标函数的负梯度方向正交投影到该法向子空间的正交补中,获得一个使目标函数下降的可行方向;然后,从当前的迭代点出发,沿着使目标函数下降的可行方向搜索,寻找一个新的改进点,直到得到约束优化问题 (LCO)的一个KKT点. 2 Rosen梯度投影法 * 最优化理论 * 2 Rosen梯度投影法 * 最优化理论 * 2 Rosen梯度投影法--算法描述 0 步1 (初始化)初始点x ,置k=0 * 最优化理论 * 2 Rosen梯度投影法 例：求解如下约束优化问题: * 最优化理论 * 3 Frank-Wolfe方法 Frank和Wolfe 1956年提出求解线性约束问题的一种算法. 3.1 算法简介 * 最优化理论 * 3 Frank-Wolfe方法 * 最优化理论 * 12.2 Frank-Wolfe方法 * 最优化理论 * 3 Frank-Wolfe方法 * 最优化理论 * 3 Frank-Wolfe方法 * 最优化理论 * 3 Frank-Wolfe方法 * 最优化理论 * 3 Frank-Wolfe方法 2 算法收敛性 * 最优化理论 * 3 Frank-Wolfe方法 * 最优化理论 * 3 Frank-Wolfe方法 下面定理表明,这序列的每一聚点都是KKT点 谢谢！ 最优化理论 * 最优化理论 * 帅天平 北京邮电大学数学系 §12, 可行方向法 最优化理论与算法 * 最优化理论 * Ch12 可行方向法 解约束问题的可行方向法与求解无约束问题的下降算法类似：可行方向法从问题的可行点出发，在该点的可行方向中，寻找使目标函数下降的方向，然后沿该方向进行线性搜索，得到一个新的可行点。 求解无约束问题下降算法的过程是 * 最优化理论 * Ch12 可行方向法 1 Zoutendijk可行方向法 2 Rosen梯度投影法 4 既约梯度法 3 Frank-Wolfe法 * 最优化理论 * 1. Zoutendijk可行方向法 2.1 线性约束情形 考虑NLP问题 * 最优化理论 * 1. Zoutendijk可行方向法 怎样选择下降可行方向？ 证明：必要性 * 最优化理论 * 1. Zoutendijk可行方向法 设非零向量d是 处的可行方向，于是存在??0,使 得对每个???????，有 由于