工程优化第4章-1题库.ppt

（3）采用加速梯度法： 由于最速下降法在极小点附近成“锯齿”状，因此下降过程中的搜索方向可取 下两步继续用最速下降方向即负梯度方向。 Shah等人于1964年提出了一种“平行切线法”（简记为PARTAN法），又称加速梯度法。 最速下降法的改进 负梯度方向和 结合 这两种方向交替使用，效用要比最速下降法好的多。 用于二次函数时的收敛速度分析 定理：设二次函数 A对称正定， 分别 为其最小和最大特征值，从任意初点 出发，用最速下降 法求f的极小点，产生的序列为 ，对于 有 由于 而函数 的极小点恰好是 。故最速下 降法对于二次函数关于任意初始点均收敛，且是线性收敛。 下面说明最速下降法收敛性的几何意义。 考虑A为正三角矩阵时的二次函数 函数的等值线为 其中 用于二次函数时的收敛速度分析 改写为： 这是以 和 为半轴的椭圆 从下面的分析可见 两个特征值的相对 大小决定最速下降法的收敛性。 （1）当 时，等值线变为圆 此时 因而由上述定理知： 即只需迭代一步就到了极小点，这表明最速下降法用于等 值线为圆的目标函数时，只需迭代一步就到了极小点。 （3）当 ， 等值线是很扁的椭圆 此时 ，对于一般的初始点,收敛 速度可能十分缓慢，锯齿现象严重。 用于二次函数时的收敛速度分析 （2）当 时, 等值线为椭圆。 此时对于一般的初始点将产生锯齿现象。 作业： P 99 4.1，4.2，4.5 课件下载邮箱 邮箱名： xdgongchengyouhua@126.com (xd+工程优化的小写全拼) 密码：xidian123 最优性条件 最速下降法 牛顿法及其阻尼牛顿法 共轭方向法 共轭梯度法 变尺度法（DFP算法和BFGS算法） 第4章 无约束最优化方法 求解（1），就是找 中的一点 ，使对 均有 ，称 为(1)的全局极小点。 无约束最优化问题： 求解 (1)的计算方法称为无约束最优化方法。 无约束最优化方法应用广泛，理论也比较成熟； 可将约束优化问题转化为无约束优化问题来处理； 最优化方法中的基本方法---无约束优化方法 ：利用函数的一阶或二阶导数的方法 收敛速度快，需要计算梯度或者Hesse矩阵 ：仅利用函数值的信息，寻找最优解 不涉及导数，适用性强，但收敛速度慢 可求得目标函数的梯度时使用解析法 在不可能求得目标函数的梯度或偏导数时使用直接法 本章介绍解析法 最优性条件(Optimality Conditions) 所谓最优性条件，是指最优化问题的最优解所要满足的 必要条件或充分条件。 这些条件对于最优化算法的建立和最优化理论的推导都是至关重要的。 解析法要用到目标函数的梯度或者Hesse矩阵，容易想到 利用一阶必要条件将无约束优化问题转化成一个梯度为0确定 的方程组。 这里用到的一阶必要条件就是最优性条件。 定理(一阶必要条件) 设 ，若 为 的局部极小点，且在 内连续可微，则 无约束优化的最优性条件----一阶必要条件 若 为 的局部极小点，且在 内 二次 连续可微，则 半正定。 无约束优化的最优性条件----二阶必要条件 定理（二阶必要条件） 定理(二阶充分条件) 设 若在 内 二次连续可微，且 正定，则 为 的严格局部极小点。 如果 负定，则 为 的严格局部极大点。 无约束优化的最优