《北邮最优化课件11无约束最优化的直接方法》教学课件.ppt

TP SHUAI * 3.Powell法 进行搜索,得到点 作一维搜索,得到点x(k) TP SHUAI * 3.Powell 法 例1 用Powell方法求解下列问题 取初始点和初始方向为 第1轮迭代 置 TP SHUAI * 3.Powell 法 用解析法求f(x)沿直线的极小点 令 TP SHUAI * 3.Powell 法 令 TP SHUAI * 3.Powell 法 令方向 令 TP SHUAI * 3.Powell 法 第2轮迭代：由(4.1),搜索方向为 初始点为 TP SHUAI * 3.Powell 法 令 TP SHUAI * 3.Powell 法 此为极小点 TP SHUAI * 3.Powell 法 3.2 二次终止性 证明：根据假设，必有 及 TP SHUAI * 3.Powell 法 由此得到 TP SHUAI * 3.Powell 法 利用上述定理容易证明,当极小化正定二次函数时， 如果每轮迭代中前n个方向均线性无关，那么Powell 方法至多经n轮迭代达到极小点。 TP SHUAI * 3.Powell 法 现在假设第k轮迭代的搜索方向为 TP SHUAI * 3.Powell 法 前n个方向线性无关，且后k个方向 是A共轭的。经过这轮迭代，得到点x(k) 它们分别等于 前n个方向线性无关 TP SHUAI * 3.Powell 法 由此可知，完成n个阶段的迭代之后，必能得到n 个A－共轭的方向.因此,Powell方向具二次终止性。 TP SHUAI * 3.Powell 法 4.3 改进的Powell方法(Sargent形式) 作一维搜索,得到点 TP SHUAI * 3.Powell 法 求指标m,使得 TP SHUAI * 3.Powell 法 谢谢！ TP SHUAI TP SHUAI * 帅天平 北京邮电大学数学系 Email:tpshuai@, Tel Rm:主楼814 §11，无约束最优化的直接方法 最优化理论与算法 TP SHUAI * Ch11 无约束最优化的直接方法 1 模式搜索法 2 Rosenbrock算法 3 Powell方法 TP SHUAI * 1.模式搜索法 1 基本思想 Hooke Jeeves(1961) 探测移动依次沿n个坐标轴进行,用以确定新的 基点和有利于函数值下降的方向. 模式移动沿相邻两个基点连线方向进行. 从几何意义上看,寻找具有较小函数值的“山谷”力图使迭代产生的序列沿“山谷”走向逼近极小点,算法从初始基点开始,包括两种类型的移动 ----探测移动和模式移动. TP SHUAI * 1.模式搜索法 TP SHUAI * 1.模式搜索法 设目标函数为f(x), x?En.坐标方向 给定初始步长?,加速因子?.任取初始点x(1)作为第1个 基点. x(j) : 第j个基点. y(j) : 沿ej探测的出发点 y(n+1) : 沿en探测得到的点 TP SHUAI * 1.模式搜索法 首先,从y(1) = x(1)出发,进行探测移动.先沿e1探测 并从y(2)出发,沿e2进行探测. 否则,沿e1方向的探测失败,再沿- e1方向探测 并从y(2)出发,沿e2进行探测. TP SHUAI * 1.模式搜索法 再从y(2)出发,沿e2进行探测.方法同上,得到的点记为 y(3) .按此方式作下去直至沿n个方向探测完毕,得到点y(n+1). 此时,可望d = x(2) - x(1)是有利于函数值减小的方向. TP SHUAI * 1.模式搜索法 下一步,沿方向x(2) - x(1)进行模式移动,令新的y(1) y(1) =x(2) +?(x(2) - x(1)) (1.5) 模式移动后,以y(1)为起点进行探测移动,这轮探测移动仍然沿坐标轴方向进行.探测完毕,得到的 点仍记做y(n+1) 若f(y(n+1) ) f(x(2)) ,则此次模式移动成功.于是取 新的基点. x(3) = y(n+1) 再沿x(3) - x(2)进行模式移动 TP SHUAI * 1.模式搜索法 若f(y(n+1) )? f(x(2)) ,则表明模式移动及此次模式移动 之后的探测移动均无效.于是退回到基点x(2).减小步 长?,再从x(2) 出发,依次沿各坐标轴方向进行探测移动 如此继续下去,直到满足精度为止,即步长?小于事先 给定的某个小的正数?为止 1.2 计算步骤 TP SHUAI * 1.模式搜索法 进行步4.,否则转3 进行步4.,否则令 进行步4. y(j+1) = y(j) TP SHUAI * 1.模式搜索法 4. 若jn,则置j:=j+1,转步2,否则,进行步5. 6.置x(k+1) =