工程优化第4章-1分析报告.ppt

最优性条件 最速下降法 牛顿法及其阻尼牛顿法 共轭方向法 共轭梯度法 变尺度法（DFP算法和BFGS算法）; 求解（1），就是找 中的一点 ，使对 均有 ，称 为(1)的全局极小点。 ; 无约束最优化方法应用广泛，理论也比较成熟； 可将约束优化问题转化为无约束优化问题来处理；;;定理(一阶必要条件) 设 ，若 为 的局部极小点，且在 内连续可微，则 ; 若 为 的局部极小点，且在 内 二次 连续可微，则 半正定。;定理(二阶充分条件) 设 若在 内 二次连续可微，且 正定，则 为 的严格局部极小点。 ;定理(一阶充要条件) 设 是凸函数且在 处连续可微，则 为 的全局极小点的充要条件是 ;例：;函数;的行列式小于0；;对某些较简单的函数，这样做有时是可行的； 但对一般n元函数 f(x) 来说，由条件 得到的是一个非线性方程组，解它相当困难。 为此，常直接使用迭代法。;(1) 选定某一初始点;从而得到第 k+1次迭代点，即;最速下降法; 最速下降法是求多元函数极值的最古老的数值算 法，早在1847年法国数学家Cauchy提出该算法，后来 Curry作了进一步的研究。 该方法直观，简单，计算方便，而且后来的一些新的 有效的方法大多数是对它的改进，或受它的启发而得到 的。;(1) 选定某一初始点;算法框图; 例 利用最速下降法求解;令;令;最速下降法的收敛性分析; 最速下降法在两个相邻点之间的搜索方向是正交的。 最速下降法向极小点逼近是曲折前进的，这种现象称为锯齿现象。 除特殊的目标函数和极特殊的初始点外，这种现象都会发生。;;对正定二次函数，用最速下降法产生的点列：偶数项点 列均在一条直线上，奇数项点列也均在一条直线上，且 都过最优点. ; 对正定二次函数 ，用最速下降法产生的点列：偶数项点列均在一条直线上，奇数项点列也均在一条直线上，且都过最优点. ; 优点：理论明确，程序简单，每次的计算量小，所需的存 储量小，对初始点要求不严格。 缺点：收敛速度并不快，因为最速下降方向仅仅是指某点 的一个局部性质。 最速下降法相邻两次搜索方向的正交性，决定了迭代全 过程的搜索路线呈锯齿状，远快近慢。; 为了清除最速下降法中两个搜索方向正交的不良后果， 提出了许多改进的方法，如：;然后再从 开始新的迭代，经过10次迭代，得最优解 计算中可以发现，开始几次迭代，步长比较大，函 数值下降将较快，但当接近最优点时，步长很小，目标 函数值下降很慢。;如果不取初点为 而取 ; 采用非精确一维搜索求步长, 可使相邻两个迭代点处的梯度不正交，从而改变收敛性。;（3）采用加速梯度法：; 用于二次函数时的收敛速度分析; 下面说明最速下降法收敛性的几何意义。 考虑A为正三角矩阵时的二次函数 ;; （3）当 ， 等值线是很扁的椭圆 此时 ，对于一般的初始点,收敛 速度可能十分缓慢，锯齿现象严重。;作业： P 99 4.1，4.2，4.5 ;课件下载邮箱