4无约束最优化方法-直接搜索法讲解.ppt

6）置第k+1轮迭代的出发点和搜索方向组 X0(k+1) = Xn+1(k) Si(k+1) ( i = 1, 2, … , n ) 即 { S1(k), …, Sm-1(k), S(k), Sm+1(k), …, Sn(k)} 并置 k ? k+1 ，返回第2）步。 7）置第k+1轮迭代的出发点和搜索方向组 若 f2 f3 ，X0(k+1) = Xn(k) ；否则，X0(k+1) = X(k) 。 Si(k+1) = Si(k) ( i = 1, 2, … , n ) 并置 k ? k+1 ，返回第2）步。 * 无约束最优化方法 无约束最优化方法 求解无约束最优化问题 min f(x) 的数值迭代解法。 构成约束最优化方法的基础解法。 求解无约束最优化问题的下降迭代解法具有统一的迭代格式，其基本问题是选择搜索方向和在这些搜索方向上进行一维搜索。 由于构成搜索方向的方式可以不同，从而形成了各种不同的无约束最优化方法。 无约束优化的直接搜索法 各种无约束优化方法的区别就在于确定其搜索方向S(k)的方法不同，所以搜索方向的构成问题是无约束优化方法的关键。根据构造搜索方向所使用的信息性质的不同，无约束优化方法可以分为两类： X (k+1)=X (k) + ?(k) S(k) (k =0 , 1 , 2 , …) 一类是只利用目标函数值信息的无约束优化方法，如坐标轮换法、鲍威尔法，称为直接搜索法；另一类是利用目标函数的一阶或二阶导数信息的无约束优化方法，如梯度法、牛顿法、共轭梯度法、变尺度法，称为间接搜索法。 基本思想 坐标轮换法（变量轮换法、交替法、降维法） 将n维无约束优化问题转化为n个沿坐标轴方向ei (i=1, 2, … , n)的一维优化问题来求解，并记完成n次一维搜索为一轮。若一轮搜索后未得到满足精度要求的最优点，则继续下一轮迭代搜索。如此反复，直至得到满足精度要求的最优点为止。在每一轮搜索中，每次迭代仅对n元函数的一个变量沿其坐标轴方向进行一维搜索，其余n-1个变量均保持不变，再依次轮换进行一维搜索的坐标轴，直至完成沿n个坐标轴方向的n次一维搜索。 x1 x2 X0(1) X1(1) X2(1) 取初始点X(0)=X0(1)， x1坐标轴方向的单位向量S1(1)=e1=[1 0]T， x2坐标轴方向的单位向量S2(1)= e2=[0 1]T。 X1(1) =X0(1)+α1(1)S1(1)， X2(1) =X1(1)+α2(1)S2(1) 判断是否满足迭代收敛准则： || X2(1) – X0(1) ||≤? ？ X1(1) =X0(1)+α1(1)e1(1) = [x1(0) x2(0)]T + α1(1)[1 0]T X2(1) =X1(1)+α2(1)e2(1) = [x1(1) x2(1)]T + α2(1)[0 1]T 第一轮迭代搜索： 若满足，则输出最优解，否则，继续下一轮迭代搜索。 Xi(k) =Xi-1(k)+αi(k)ei(k) ( k—迭代轮次，i— k轮迭代的第i次一维搜索 αi(k) — 一维搜索求得的最优步长） || Xn(k) – X0(k) ||≤? ？ 计算步骤与算法框图 1）任选初始点X(0)=X0(1) = [x1(0) x2(0) … xn(0) ]T ，给定迭代收敛精度?，i = 1，k = 1。 2）置n个坐标轴方向向量为单位向量，即e1=[1 0 … 0 ]T， e2=[0 1 0 … 0 ]T ，… ， en=[0 … 0 1]T。 3）按如下迭代计算公式进行迭代计算 Xi(k) =Xi-1(k)+αi(k)ei(k) ( k—迭代轮次，i— k轮迭代的第i次一维搜索 i =1，2， … ，n） 4）判断是否满足迭代收敛准则 || Xn(k) – X0(k) ||≤? ？ 若满足，则输出最优解: X * = Xn(k) ，f * = f (X * ) 否则，令X0(k+1) = Xn(k) ，k ? k+1，返回3）。 单纯形替换法 基本思想 通过计算出若干点处的函