1018最速下降法.ppt

问题提出 一 算法：最速下降法 精确一维搜索的最速下降法 收敛性定理 最速下降法的优缺点 * Page * * § 3.3 最速下降法 (梯度下降法) 问题： 在点 处， 沿什么方向 下降最快? 分析： 考查： 显然当 时， 取极小值． 因此： 结论： 负梯度方向使 下降最快， 因此称为最速 下降方向． Step1: 给出 Step2: 计算 如果 停． 否则，令 一维搜索 Step3: 沿 方向确定步长 Step4: 令 转Step２. 即经精确一维搜索得到，那么相应的算法称为精确一维(线)搜索的最速下降法. 称 为精确步长因子。 2.特点： 即相继两次迭代中搜索方向 是正交的． 1. 定义：若在上一页Step3确定的步长 满足： 记为 即 由于 即正交。 则 又 因此 证明： 例1： 用最速下降法求解： 解： 下面用精确线搜索求步长. (1) 由 要求迭代两次, 并验证相邻两个搜索方向正交. 因 近而有: 令 由于 较大, 因此还需迭代下去. 近而有: (2) 令 类似(1)中的做法, 用精确线搜索求步长, 即 可见, 用最速下降法迭代两次并没有达到极小点. 又注意到: 证毕. 由(2)得: 所以: 下面验证相邻两个搜索方向是正交的. 定理3.2 设 连续可微，且水平集有界 则由精确线搜索的最速下降法产生的 序列满足: 或者 有 或者对某个 优点： 程序设计简单，计算量小，存储量小。 有着好的整体收敛性，对初始点没有特别要求。 缺点： 收敛速度慢，尤其在极小点附近，梯度法产生的点列逼近函数的极小点越来越慢． ① 仅反映 在 处的局部性质; 原因： ② 即相继两次迭代中搜索方向正交.