运筹学11_无约束最优化的直接方法.pdf

最优化理论与算法 §11，无约束最优化的直接方法 TP SHUAI 1 Ch11 无约束最优化的直接方法 • 1 模式搜索法 • 2 Rosenbrock算法 • 3 Powell方法 TP SHUAI 2 1.模式搜索法 •1 基本思想 •Hooke Jeeves(1961) •从几何意义上看,寻找具有较小函数值的“山谷” 力图使迭代产生的序列沿“山谷”走向逼近极 小点,算法从初始基点开始,包括两种类型的移动 探测移动和模式移动. 探测移动依次沿n个坐标轴进行,用以确定新的 基点和有利于函数值下降的方向. 模式移动沿相邻两个基点连线方向进行. TP SHUAI 3 1.模式搜索法 TP SHUAI 4 1.模式搜索法 n 设目标函数为f (x), x E .坐标方向 T ej  (0,...,0,1,0,...,0) , j 1,..., n j 给定初始步长,加速因子.任取初始点x(1)作为第1个 基点. x(j) : 第j 个基点. y (j) : 沿e 探测的出发点 j y (n+1) : 沿e 探测得到的点 n TP SHUAI 5 1.模式搜索法 首先,从y (1) = x(1) 出发,进行探测移动.先沿e 探测 1 若f (y (1) e )  f (y (1) ),则探测成功,令 1 y (2) y (1) e1 (1.1) 并从y (2) 出发,沿e 进行探测. 2 否则,沿e 方向的探测失败,再沿- e 方向探测 1 1 若f (y (1) e )  f (y (1) ),则沿-e探测成功,令 1 1 y(2)  y(1) e (1.2) 1 并从y (2) 出发,沿e 进行探测. 2 TP SHUAI 6 1.模式搜索法 若f ( y(1) e )  f ( y(1) ),则沿- e 方向的探测失败,令 1 1