第四章(无约束).ppt

  1. 1、本文档共32页,可阅读全部内容。
  2. 2、本文档内容版权归属内容提供方,所产生的收益全部归内容提供方所有。如果您对本文有版权争议,可选择认领,认领后既往收益都归您。
  3. 3、本文档由用户上传,本站不保证质量和数量令人满意,可能有诸多瑕疵,付费之前,请仔细先通过免费阅读内容等途径辨别内容交易风险。如存在严重挂羊头卖狗肉之情形,可联系本站下载客服投诉处理。
  4. 文档侵权举报电话:400-050-0739(电话支持时间:9:00-19:00)。
共轭梯度法 方法评价 迭代程序简单,容易实现,存储量较小。 开始采用梯度方向,目标函数值下降快,后又为旋转梯度方向,具有二次收敛速度,收敛快。 需要求一阶导数。 牛顿法 基本思想 将 f(x) 在 x(k) 点作台劳展开,取二次函数式Φ(x) 作为近似函数,以Φ(x) 的极小值点作为 f(x) 的近似极小值点。 牛顿法 说明 是Hesse矩阵的逆矩阵 为牛顿步长 f(x) 若是正定二次函数,一般迭代一次即可;若是严重非线性函数,则可能不收敛,或收敛到鞍点。 f(x) 不是二次函数时,采用如下迭代公式 修正牛顿法 (牛顿方向法) f(x) 不是二次函数时,采用如下迭代公式 —— 牛顿方向 ——— 最优步长因子 使用牛顿法时,若目标函数是严重非线性函数,则是否收敛将与初始点有很大关系;而使用修正牛顿法,能保证每次迭代目标函数值下降,从而放宽了对初始点的要求。 若初始点选得合适,牛顿法的收敛速度相当快。 牛顿法求逆矩阵的工作量大,计算量与存储量均随 n2上升。 方法评价 变尺度法 基本思想 发扬梯度法和牛顿法各自的优点,避免两者各自的缺点,将两者结合起来,形成变尺度法。 迭代公式: —— 拟牛顿方向 变尺度法 步骤 迭代公式: 2)首次迭代时, 1)选取初始点 ,确定计算精度要求 3)进行一维搜索求 使 则 4)检验精度,计算 ,若 ,则停止,其最小点为 。 若否,则进行下一步。 5)检查迭代次数,若k=n,则重置,从负梯度方向开始,并取 。 若否,则进行下一步。 6)构造新的拟牛顿方向 令 k=k+1,转向第3)步。 变尺度法 方法评价 变尺度法以逐次逼近的方法实现 H-1 的计算,当目标函数的一阶导数易求时,以一阶代替二阶导数的计算是有效的方法。 算法的第一步是梯度法,最速下降;接近 x* 时,又采用二次收敛的共轭方向,总的收敛速度较快。 H(k) 近似代表 x(k) 点的二阶导数,当其为零时,可判断 x(k) 为鞍点。 H(k) 的计算较复杂,存储量较大。 算法稳定性较差,由于计算机有舍入误差,容易使 H(k) 的正定性破坏,趋于奇异。 §4.1 引 言 §4.2 一维搜索方法 §4.3 坐标轮换法 和 Powell 法 §4.4 梯度法 和 共轭梯度法 §4.5 牛顿法 和 变尺度法 §4.6 无约束优化设计方法小结 第四章???无约束问题的最优化方法 §4.1 引言 §4.2 一维搜索方法 §4.3 坐标轮换法和 Powell 法 §4.4 梯度法和共轭梯度法 §4.5 牛顿法和变尺度法 无约束优化问题数学模型的一般形式为: 求一组 n 维设计变量 使目标函数达到 即求设计问题的最优解,包括 设计向量的最优点 目标函数的最优值 无约束优化问题的研究内容: 一维搜索: 多维(变量)优化: 黄金分割 插值法 坐标轮换法 共轭方向法 梯度法 共轭梯度法 牛顿法 DFP变尺度法 确定搜索方向 S (k) 求最优步长因子α(k) 一维搜索: 求最优步长因子α(k) 一维搜索 —— 求最优步长因子α(k),使 沿给定方向达到极小值的过程 已知点 给定搜索方向 解析法 把函数 沿 方向作Taylor展开,并取二次近似式,则得 对 求导数并令其等于零,即 得 求得最优步长因子为 可精确求导 注意: 数值迭代法 搜索区间的确定 第一步: 确定函数值最小点的所在区间 第二步: 求最优步长因子α(k) 黄金分割 插值法 数值迭代法 搜索区间的确定 在区间 [α1,α3 ]内,函数只有一个峰值,则此区间为单峰区间。单峰区间内,一定存在一点α*,当任意一点α2>α*时,f (α2)>f (α*), 当α2<α*时,仍有f (α2)>f (α*),则α*是最优点,也即为最优步长因子α(k)。 说明: 单峰区间内,函数可以有不可微点,也可以是不连续函数; 确定的搜索区间必定是一个含有最优点α*的单峰区间。 数值迭代法 搜索区间的确定 试探步长 加速步长搜索法 外推法 (缩小搜索区间) 数值迭代法 新区间 序列消去法 一般形式 最终区间长度 终止条件 最优点 数值迭代法 黄金分割法 序列消去法

文档评论(0)

ꫛꫀꪝ是我没错
该用户很懒,什么也没介绍

相关文档

相关课程推荐