现代机械设计方法第2版教学课件作者谢里阳主编第3篇第13章多维无约束优化方法概述课件.ppt

牛顿法迭代式的等效形式 若在迭代中对上式中的α(k)不取1，而是对?(k)求一维优化的最优步长，则上式改变为： 称为广义牛顿法或阻尼牛顿法 X(k+1)＝X(k)-[H (X(k))]－1 ▽f(X(k)) 13.7 变尺度法 但由于牛顿法在每一个迭代点上，都需计算目标函数的全部二阶导数，以此构造海赛矩阵，并计算海赛矩阵的逆矩阵。这在实际应用中不仅十分麻烦，而且常常难以做到。另外，只要在某一个迭代点X(k)上, 海赛矩阵H(X(k))非正定, 就无法得到其逆矩阵[H(X(k))]－1，迭代计算就将终止而导致失败。 为克服这些缺陷，就产生了不用计算海赛矩阵逆矩阵的广义牛顿法的演化形式——变尺度法。 13.7.1 变尺度法的方法原理 (1) 基本思想 在应用广义牛顿法进行迭代时，不用计算海赛矩阵和它的逆矩阵，而是构造一个近似矩阵H(k)来代替海赛矩阵的逆矩阵[H(X(k))]－1，并在迭代过程中，不断修正H(k)(故称其为变尺度矩阵)使其逐渐逼近[H(X(k))] －1。 (2) 构造变尺度矩阵H(k)的基本要求 1) H(k)必须使S(k)=-H(k)▽f(X(k))为能使函数的数值下降的方向。 这一要求相应的条件为：S(k)与-▽f(X(k))之间的夹角小于90°，即： -[S(k)]T ▽f(X(k))0 (2) 构造变尺度矩阵H(k)的基本要求 2) H(k)应能够最终逼近到[H(X* )] －1 这一要求的实质是S(k)最终要逼近牛顿方向: －[H(X(k))] －1▽f(X(k))，所以称为拟牛顿条件。 第13 章 多维无约束优化方法概述 无约束优化数学模型: min f(X), X∈R n 无约束优化方法--求解无约束优化数学模型的方法。 方法分为两类: 直接法---不需要引入导数（偏导数）信息来构造搜索方向的方法； 间接法---需要引入导数信息来构造、产生搜索方向的方法。 学习要点 方法的关键：形成有效的搜索方向。不同方法的主要特征，就体现在搜索方向上。 因此，在学习中应理解、掌握各种无约束优化方法的搜索方向的特点，搜索方向的构造。 直接法 （1）坐标轮换法、共轭方向法、鲍威尔法，三种方法的关系： 坐标轮换法 理论提升 共轭方向法 改进 鲍威尔法 间接法 （2）梯度法、牛顿法、变尺度法的关系。 梯度法 牛顿法 改进 变尺度法 理论提升 13.1 坐标轮换法 13.1.1 坐标轮换法的优化搜索过程 再以X1(1) 为起点，换用x2 坐标轴为搜索方向，优化搜索到达X2(1) 。 以X(0) 为起点，沿x1轴优化搜索，到达X1(1) 。 13.1.2 坐标轮换法的基本算法 (1) 迭代计算式： k—第k轮搜索， j—第k轮中的第j次搜索 13.1.2 坐标轮换法的基本算法 (2) 搜索方向Sj (k) 的描述 以二维为例，第k 轮第1次 第k 轮第2 次： (3)一维优化方法：最优步长法 ?(1)1S (1) 1 ?(1)2S (1) 2 最优步长法的数学表达式为： 13.1.3 迭代模式 一轮做n次一维优化搜索 每次方向：坐标轴方向； 一维优化方法：最优步长法。 ----(i=1 to n)的计数循环 反复多轮次迭代，直到满足终止准则为止。 ----条件循环 13.2 共轭方向法 13.2.1 概述 坐标轮换法 ---正交方向搜索法 对具有同心圆等值线的二维目标函数 两次搜索达最优点 对于正定二次二元函数（具有同心椭圆族等值线）, 沿着一对共轭方向作二次一维优化搜索，就可以到达极小点(椭圆中心) 13.2.3 数值方法构造共轭方向的原理 (1) 同心椭圆族的几何特性 在任意两个椭圆上作两条相平行的切线l1,l2 ，则两切点的连线必过椭圆族的中心 切线的方向S1与两切点连线的方向S2 ，就是一对共轭方向。 正定二次二元函数(等值线为同心椭圆族)，经两次共轭方向搜索，就可搜索到极小点(椭圆中心)。 (2) 数值方法构造共轭方向的基本原理与方法 基本原理：同心椭圆族的几何特性。 方法：以X0(1)为初始点，以S1为搜索方向作一维优化， 再以X0 (2)为起点，用与S1相平行的方向作一维优化，则最优点，是直线l2 与另一椭圆的切点X(2)。 以X(1)为起点，X(2)为终点的向量为：S2 ＝X(2)-X(1)， S2 的方向就是两切点连线的方向，因为l1与l2 平行，因此S1与S2 共轭。 其最优点，就是直线l1与某一椭圆的切点X(1)， (3) 构造共轭方向数值方法的归纳 用某一个不变的方向S1, 以两个不同