机械优化设计之无约束优化方法培训课件.pptVIP

机械优化设计之无约束优化方法培训课件 08:00 1 2 目 录 CONTENTS 08:00 第四章 无约束优化方法 概述 01 最速下降法 牛顿型方法 共轭方向与共轭方向法 02 03 04 坐标轮换法 05 共轭梯度法 变尺度法 鲍威尔方法 06 07 08 单形替换法 09 08:00 3 变尺度法也称拟牛顿法，它是基于牛顿法的思想而又作了重大改进的一类方法。我们所介绍的变尺度法是由 Davidon 于1959年提出又经 Fletcher 和 Powell 加以发展和完善的一种变尺度法，故称为DFP变尺度法。 4.7 变尺度法 能否克服各自的缺点，综合发挥其优点？ 2) 阻尼牛顿法 1) 梯度法 * 简单，开始时目标函数值下降较快，但越来越慢。 * 目标函数值在最优点附近时收敛快，但要用到二阶导数和矩阵求逆。 （1） 问题提出 4 4.7 变尺度法 （2） 基本思想 变量的尺度变换是放大或缩小各个坐标。通过尺度变换可以把函数的偏心程度降到最低限度。 这种算法仅用到梯度，不必计算海赛阵及其逆矩阵，但又能使搜索方向逐渐逼近牛顿方向，具有较快的收敛速度。 尺度变换技巧能显著地改进几乎所有极小化方法的收敛性质。 例如在用最速下降法求 极小值时 ,需要进行10次迭代才能达到极小点。 梯度法: 牛顿法: 5 4.7 变尺度法 （2） 基本思想 进行尺度变换 在新的坐标系中，函数f(x)的二次项变为： 目的：减少二次项的偏心 如G是正定，则总存在矩阵Q，使得： 对于二次函数: 6 4.7 变尺度法 （2） 基本思想 用矩阵Q-1右乘等式两边，得： 用矩阵Q左乘等式两边，得： 所以 上式说明：二次函数矩阵G的逆阵，可以通过尺度变换矩阵 来求得。 7 (3) 变尺度法的搜索方向 :S(k) = - Ak gk ，称为拟牛顿方向。 (1) Ak为构造的 n n 阶对称矩阵，它随迭代点的位置变化而变化，对梯度起到改变尺度的作用，又称为变尺度矩阵。 若Ak =I，上式为梯度法的迭代公式 若Ak = Hk-1 ，上式为阻尼牛顿法的迭代公式 （3） 迭代公式 4.7 变尺度法 (2) 当矩阵Ak 不断地迭代而能很好地逼近 时，就可以不再需要计算二阶导数。 变尺度法的关键在于尺度矩阵Ak的产生 。 8 拟牛顿方向 S(k) = - Ak gk 必须具有下降性、收敛性和计算的简便性。 下降性—要求变尺度矩阵为对阵正定矩阵； 收敛性—要求变尺度矩阵逐渐逼近Hk-1，满足拟牛顿条件； 简便性—希望变尺度矩阵有如下递推形式： Ak+1 = Ak +△Ak （4） 变尺度矩阵的产生 4.7 变尺度法 9 下降性：要求S(k)与-gk之间的夹角小于90o，即： -[S(k)]T gk0 将拟牛顿方向带入上式，得： -[S(k)]T gk = [Ak gk]Tgk = [gk]TAk gk 0 所以只要 Ak 为对阵正定矩阵，S(k) 就是下降方向。 （4） 变尺度矩阵的产生 4.7 变尺度法 10 变尺度矩阵是随迭代过程的推进而逐次改变的，因而它是一种矩阵序列 选取初始矩阵A0，并以梯度方向快速收敛，通常取单位矩阵E 作为初始矩阵，即A0=E。而后的矩阵均是在前一构造矩阵的基础上校正得到，令 推广到一般的k+1次构造矩阵 { Ak }，k=1，2，…… A1=A0+△A0 Ak+1=Ak+△Ak 矩阵序列的 基本迭代式 △ Ak 称为校正矩阵 （4） 变尺度矩阵的产生 4.7 变尺度法 简便性： 11 构造矩阵Ak+1应该满足一个重要条件—拟牛顿条件 变尺度法采用构造矩阵来代替牛顿法中海赛矩阵的逆阵，主要目的之一就是为了避免计算二阶偏导数和逆矩阵，力图仅用梯度和其他一些易于获得的信息来确定迭代方向，因此，拟牛顿条件是关于海赛矩阵和梯度之间的关系。 （5） 拟牛顿条件 4.7 变尺度法 12 设F(x) 为一般形式 n 阶的目标函数，并具有连续的一、二阶偏导。在点 x(k) 处的二次泰勒近似展开 该近似二次函数的梯度为： 式中 ，若令 ，则有 （5） 拟牛顿条件 4.7 变尺度法 13 上式中，x(k+1) –x(k) 称之为位移矢量，并简化书写