第三讲多维无约束最优化共轭方向法探讨.pptxVIP

多维无约束最优化：直接法 网格法 每个格子中，取中点计算目标值进行比较，收缩到“最优”的格子再继续剖分。 1 多维无约束最优化：单纯形法 单纯形 n维空间中由n+1个点所构成的体积不为0的形状。 单纯形法 从给定单纯形出发，通过变换产生一系列单纯形，逐步逼近最优点。 2 多维无约束最优化：爬山法 轮流坐标搜索法 3 轮流坐标搜索法 从任意初始点 出发，沿坐标轴 ，求解一维极值问题： 记最优的 为 ，令 ，从该点出发，沿坐标轴 继续搜索，直到n个方向搜索完一遍，得到 ，以之为新的 重复上述搜索过程，直到沿n个方向搜索的结果都无明显改善。 4 例子 轮流坐标搜索法对等高线近似于圆的函数比较有效，对等高线为扁椭圆的函数效果不好。 例求Rosenbrock函数的极小值 轮流搜索结果为(0, 0)-(0.16, 0)-(0.16, 0.026)-(0.21, 0.026)-(0.21, 0.045)-(0.25, 0.045)-(0.25, 0.06)-(0.27, 0.06)-… Alternative.c 5 一些改进方法 Rosenbrock算法（旋转方向法） Hooke-Jeeves算法（步长加速法） 6 多维无约束最优化：共轭方向法 基本思想：沿着某些方向依次进行精确的一维搜索，确定最佳的步长。 共轭方向 定义：设 An×n 对称正定，d (1),d (2) ∈Rn , d (1) ≠0，d(2) ≠0，满足d(1)TAd(2)=0, 称d(1),d(2) 关于矩阵A共轭。 共轭向量组：d(1),d(2), …,d(m) ∈Rn 均非零，满足d(i)TAd(j)=0,(i≠j) . 7 共轭方向 当A=I(单位矩阵)时， d(1)TAd(2)= d(1)Td(2)=0，即正交关系。 共轭方向 正交方向 当d(1),d(2), …,d(m) 关于正定矩阵A两两共轭时， d(1),d(2), …,d(m) 线性无关。 8 构造共轭方向的Schmidt过程 设d(1),d(2), …,d(m) 线性无关。令 则 z1, z2,… zm 关于A 共轭。 9 二次终结性 一个算法用于解正定二次函数的无约束极小时，若有限步迭代可达最优解，则称该算法具有二次终结性。 共轭方向 + 精确一维搜索 ＝ 二次终结 设 z1, z2,… zm 关于正定阵A 共轭。则从任意初始点出发，二次型目标函数 的极小点可通过沿每个共轭方向搜索一次得到 10 例 有理由相信具有二次终结性的算法对极小化具有连续二阶导数的一般函数也是有效的。 例子： 11 例解 12 Powell共轭方向法 从初始点t0开始，沿任意一组线性无关的方向d1, d2,… dn依次进行一维搜索，得到t1，令典范方向dn+1=t1 – t0，沿典范方向再作一次搜索，得到一个新的起始点，同时用典范方向替换调d1。这个过程称为一个循环，只要新得到的n个方向线性无关，就可以进行下一次循环。已经证明，如果这样的循环可以进行n次，则n次循环后得到的那组向量关于A共轭。因此，再循环一次，就得到了二次型函数的极小点。 13 Powell法(I) Powell法流程框图： 初始步骤k=1,初始点xB0=t01及d11, d21,… dn1线性无关 14 Powell法(II) 15 Powell法(III) y 输出结果，停止 n K=k+1,转下一步 16 17 例子(powell.c) 例1： 在每一步的过程中，搜索方向线性独立是非常重要的，否则可能不收敛。 例2： Rosenbrock函数的极小值 例3： 18 避免线性相关的搜索方向 在算法的第 k 步，所有计算同前。如果 则停止，否则找下标 m 使 和ɵ*n+1使 19 避免线性相关的搜索方向(II) 则第 k+1 阶段的搜索方向不改变，否则， 进入第k+1 阶段。 20