最速下降法.ppt

第三部分 无约束最优化问题的解法 第三部分 无约束最优化问题的解法 第七章 无约束最优化的解析法 (Analytic Methods for Unconstrained Optimizations) 第七章 无约束最优化的解析法 * * 第七章 无约束最优化的解析法 第八章 无约束最优化的直接法 解析法 数学模型复杂时不便求解 无约束优化 方法的分类 数值法 直接法 可以处理复杂函数及没有数学 表达式的优化设计问题 一般来说，无约束最优化问题的求解是通过一系列一维搜 索来实现的．因此，如何选择按索方向是无约束最优化方 法的核心，且不同的搜索方向形成不同的最优化方法． 本章介绍无约束最优化方法中基本的并且主要利用目标函 数的解析性质(包括一阶导数和二阶导数)来构造搜索方向的 一些方法，这些方法统称为解析法. 无约束优化问题的解法是优化设计方法的基本组成部分， 也是优化方法的基础. 无约束优化问题的极值条件 搜索方向问题是无约束优化方法的关键. 基本迭代格式 无约束 优化 方法 的 算法 框图 第七章 无约束最优化的解析法 最速下降法 (Steepest Descent Method) Newton法 共轭梯度法(Conjugate Gradient Method) 变度量法(变尺度法，拟Newton法) (Quasi-Newton Method, Variable Metric Method) 最小二乘法 (Least Square Method) 在点 处， 沿什么方向 下降最快? 分析： 考查： 当 时， 取极小值． 结论： 负梯度方向使 下降最快， 亦即最速 下降方向． 最速下降法 问题的提出 最速下降法 迭代公式 最优步长 最速下降方向 其中 Step1: 给出 最速下降法 算法步骤 Step3: 计算下降方向 计算步长因子 令 转步２. Step2: 计算 如果 停止迭代， xk 为近似最优解;否则转Step 3. 设 是正定二次函数, 最速下降法 特例 用最速下降法求解： 解： 最速下降法 举例 最速下降法 举例 解序列表达式： 在最速下降法中，两个相邻的搜索方向是正交的，即 最速下降法 性质 几何解释 最速下降法逼近极小点的路线是锯齿形的.