4 无约束最优化方法-直接搜索法.pptVIP

无约束最优化方法;无约束最优化方法;求解无约束最优化问题的下降迭代解法具有统一的迭代格式，其基本问题是选择搜索方向和在这些搜索方向上进行一维搜索。 由于构成搜索方向的方式可以不同，从而形成了各种不同的无约束最优化方法。;无约束优化的直接搜索法; 基本思想 ;; 判断是否满足迭代收敛准则： || X2(1) – X0(1) ||≤? ？; Xi(k) =Xi-1(k)+αi(k)ei(k) ( k—迭代轮次，i— k轮迭代的第i次一维搜索 αi(k) — 一维搜索求得的最优步长） ; 3）按如下迭代计算公式进行迭代计算;单纯形替换法; 计算步骤 ; 2）计算各顶点的函数值 fi = f (Xi) (i=0, 1, 2, … , n) ; 若满足，则结束迭代计算，并输出 X * = XL 和 f * = f L;; 7）收缩：当 fn+2≥ f G 时，则需收缩。 若 fn+2 fH，则取收缩点Xn+4 ： Xn+4 = Xn+1 + ? (Xn+2 – Xn+1) （ ? =0.5） fn+4 = f (Xn+4 ) 否则，以XH代替上式中的Xn+2 ， 计算收敛点Xn+4 ： Xn+4 = Xn+1 + ? (XH – Xn+1) fn+4 = f (Xn+4 );; 8）缩边：将单纯形向XL缩边，可以将各向量 ( Xi – XL ) ( i = 0, 1, 2, …, n ) 的长度都缩小一半，即 Xi = XL + 0.5 (Xi – XL) = 0.5 (Xi + XL) ( i = 0, 1, 2, …, n ) 形成新的单纯形，然后返回到 2）。;鲍威尔（Powell）法; 共轭方向的生成 ; 具有正定对称矩阵H的二次函数 f (X) = 0.5 XT H X + BT X + C 在 X(k) 和 X(k+1)两点处的梯度可以表示为;即 [ S(j) ]T H ( X(k+1) － X(k) ) = 0 若取 S(k) = X(k+1) － X(k) 那么， S(k) 和 S(j) 关于H 共轭，即 [ S(j) ]T H S(k) = 0 ;; 上述生成共轭方向的方法完全可以推广到n维优化问题中，即在n维空间中，按上述方法可以生成n个相互共轭的搜索方向。; 依此进行下去，直到获得满足迭代收敛精度要求的近似极小点为止。 根据这一原理构造的迭代算法称为鲍威尔基本算法。; 鲍威尔基本算法的缺点; 鲍威尔条件及鲍威尔修正算法; 对第 k 轮迭代，记 f 1 = f (X0(k) ) f 2 = f (Xn(k) ) f 3 = f (2Xn(k) -X0(k) ) 及 △m(k) = max { f (Xi-1(k) ) - f (Xi (k) ) , i=1,2,…, n }， 并记 Sm(k)为与△m(k)相对应的搜索方向， S(k) = Xn(k) -X0(k) ; 鲍威尔条件：; 2）从X0(k)出发，依次沿Si(k) ( i = 1, 2, … , n ) 作一维搜索，得n个极小点Xi(k) ( i = 1, 2, … , n ),构造新的搜索方向 S(k) = Xn(k) -X0(k) ，并沿此方向进行一维搜索得极小点Xn+1(k) 。; 4）计算 f (Xi (k) ) ( i = 1, 2, … , n ) ，并求 △m(k) = max { f (Xi-1(k) ) - f (Xi (k) ) , i=1,2,…, n } = fm-1 - fm 及与之对应的两个点Xm-1(k)和Xm(k) (1≤m ≤n),则第k轮迭代中贡献最大的方向为 Sm(k) = Xm(k) –Xm-1(k) ; 6）置第k+1轮迭代的出发点和搜索方向组 X0(k+1) = Xn+1(k)