第3章(无约束).pptVIP

§3.3 坐标轮换法 和 Powell 法 Powell 法 方法评价 计算步骤复杂; 是二次收敛方法，收敛快。对非正定函数也很有效; 是比较稳定的方法。 §3.4 梯度法 和 共轭梯度法 梯度法 基本思想目标函数负梯度向量方向代表最速下降方向，因此选择负梯度向量方向作为搜索方向，期望很快找到最优点。 是负梯度方向 搜索方向 第k次迭代得到的新点： 收敛条件 §3.4 梯度法 和 共轭梯度法 梯度法 梯度法 例题 §3.4 梯度法 和 共轭梯度法 梯度法 方法评价 迭代过程简单，对初始点的选择要求不高。 梯度方向目标函数值下降迅速只是个局部性质，从整体来看，不一定是收敛最快的方向。 以二维二次函数为例，相邻两次的搜索方向是正交的，所以搜索路径是曲折的锯齿形的；对于高维的非线性函数，接近极值点处，容易陷入稳定的锯齿形搜索路径。 §3.4 梯度法 和 共轭梯度法 共轭梯度法 基本思想 共轭系数 第 k 次搜索的方向：对梯度法作一个修正，将搜索方向由负梯度方向旋转一个角度，使相邻的两次搜索方向由正交变为共轭，成为二次收敛。 搜索方向 第 k＋1 次搜索的方向： §3.4 梯度法 和 共轭梯度法 共轭梯度法 步骤 §3.4 梯度法 和 共轭梯度法 共轭梯度法 共轭梯度法 例题 §3.4 梯度法 和 共轭梯度法 共轭梯度法 方法评价 迭代程序简单，容易实现，存储量较小。 开始采用梯度方向，目标函数值下降快，后又为旋转梯度方向，具有二次收敛速度，收敛快。 需要求一阶导数。 §3.5 牛顿法 和 变尺度法 牛顿法 基本思想将 f(x) 在 x(k) 点作台劳展开，取二次函数式Φ(x) 作为近似函数,以Φ(x) 的极小值点作为 f(x) 的近似极小值点。 §3.5 牛顿法 和 变尺度法 牛顿法 说明是Hesse矩阵的逆矩阵为牛顿步长f(x) 若是正定二次函数，一般迭代一次即可；若是严重非线性函数，则可能不收敛，或收敛到鞍点。 f(x) 不是二次函数时，采用如下迭代公式 牛顿法例题 对称方阵H正定的充要条件是H的各阶主子（行列）式都为正。 §3.5 牛顿法 和 变尺度法 修正牛顿法 (牛顿方向法） f(x) 不是二次函数时，采用如下迭代公式 —— 牛顿方向 ——— 最优步长因子 使用牛顿法时，若目标函数是严重非线性函数，则是否收敛将与初始点有很大关系；而使用修正牛顿法，能保证每次迭代目标函数值下降，从而放宽了对初始点的要求。 若初始点选得合适，牛顿法的收敛速度相当快。 牛顿法求逆矩阵的工作量大，计算量与存储量均随 n2上升。 方法评价 §3.5 牛顿法 和 变尺度法 变尺度法 基本思想 每确定一次搜索方向，调整一次模（尺度）的大小，称为变尺度。发扬梯度法和牛顿法各自的优点，避免两者各自的缺点，将两者结合起来，形成变尺度法。 迭代公式： ——— 变尺度矩阵，为n×n的矩阵 —— 拟牛顿方向 §3.5 牛顿法 和 变尺度法 变尺度法 步骤 迭代公式： ——— 梯度法 首次迭代时， 中间迭代时，不断修正尺度，逼进 时， 最终迭代时， ——— 牛顿法 既避免了计算二阶导数及Hesse矩阵的逆矩阵，而又利用了牛顿法的优点。 用对称的正定矩阵替代了Hesse矩阵的逆矩阵，并在迭代过程中对其逐步逼近。 §3.5 牛顿法 和 变尺度法 变尺度法 构造变尺度矩阵的递推公式（DFP公式）： —— 第k次迭代时的修正矩阵 * 第三章???无约束问题的最优化方法 §3.1 引言 §3.2 一维搜索方法 §3.3 坐标轮换法和 Powell 法 §3.4 梯度法和共轭梯度法 §3.5 牛顿法和变尺度法 §3.6 无约束优化设计方法小结 §3.1 引 言 无约束优化问题数学模型的一般形式为： 求一组 n 维设计变量 使目标函数达到 即求设计问题的最优解，包括 设计向量的最优点 目标函数的最优值 §3.1 引 言 无约束优化问题的研究内容： 一维搜索： 多维（变量）优化： 黄金分割 插值法 坐标轮换法 共轭方向法 梯度法 共轭梯度法 牛顿法 DFP变尺度法 确定搜索方向 S (k) 求最优步长因子α(k) §3.2 一维搜索方法 一维搜索： 求最优步长因子α(k) 一维搜索—— 求最优步长因子α(k)，使沿给定方向达到极小值的过程 已知点 给定搜索方向 §3.2 一维搜索方法 解析法把函数沿 方向作Taylor展开，并取二次近似式，则得 对 求导数并令其等于零，即 得 求得最优步长因子为 可精确求导 注意： §3.2 一维搜索方法 数值迭代法 搜索区间的确定 第一步： 确定函数值最小点的所在区间 第二步： 求最优步长因子α(k) 黄金分割 插值法