最优化Armijo算法确定步长的最速下降法资料.docVIP

数学与计算科学学院实验报告 实验项目名称 使用非精确线搜索 Armijo 算法确定步长 的 最速下降法 所属课程名称 最优化方法 实验类型 算法编程 实验日期 班 级 学 号 姓 名 成 绩 一、实验概述： 【实验目的】 通过实验掌握最速下降法的Matlab 算法的基本步骤； 通过实验掌握 Armijo 算法确定步长； 掌握最速下降法的思想及迭代步骤。 【实验原理】 1.最速下降法： 最古老的优化方法，十九世纪中叶由 Cauchy 提出思想 ：每次沿负梯度方向进行搜索 ● x* 等值线 (面 ) ● xk 1 xk ● f ( xk ) 负梯度方向也称为最速下降方向： 举例： 事实上，对任意 p Rn 且 || p || , 由Cauchy - Schwarz不等式得 f ( x )T P - || f ( x ) || || P || - || f ( x ) || k k k 当取 p - f (xk ) 时等号成立，即 p - f ( xk ) 是下列问题 || f ( xk ) || || f ( xk ) || 的解 min f (xk )T P ||p || 算法步骤： 1 步1 给定初始点 x0 Rn , 精度 0.令 k 0; 步 2 若 || f ( xk ) || ，则得解 xk , 算法终止 .否则 计算 dk - f (xk ), 然后转步 3； 步 3 由线性搜索计算步长k ; 步 4 令 xk 1 xk k dk , k : k 1,转步 2. 优点： 对于简单的二元二次函 数极小化问题，最速下降法在有限次迭 代并没有求出其精确最 优解, 但能以较慢的速度无限接近 最优解 . 最速下降法的收敛性： 全局收敛性： 由于最速下降法的搜索 方向与负梯度方向一致 ,即 k 0, 且 || f ( xk ) || || dk || 所以 , 我们很容易得到最速下 降算法的全局收敛性 . 采用精确搜索 , 或 Armijo 搜索或 Wolfe - Powell 搜索的最速下降法产生 的迭 代序列 { xk } 满足 lim || f ( xk ) || 0 k 由例子看到 , 最速下降法的收敛速度 至多是线性的 , 收敛速度估计： 设矩阵 Q对称正定 , q Rn .记 max 和 min分别是 Q 的最大和最小特征值 , max .考察如下二次函数极小 化 min 问题： min f ( x) 1 xT Qx qT x 2 则由采用精确搜索的最 速下降法产生的点列 { xk } 满足 || xk 1 - x* ||Q -1 || xk - x* ||Q （3.2） 1 1 其中 x* 是问题的惟一解 , || x ||Q xTQx 2 2 对于二次函数 ,由于 f (x) Qx q且在 x* 处 f (x* ) Qx* q 0 则f ( x) - f (x* ) 1 ( x - x* )T Q( x - x* ) 1 || x - x* ||Q2 2 2 所以 (3.2)可以改写成 - 1 2 f ( xk 1 ) - f (x* ) [ f ( xk ) - f ( x* )] 1 由收敛速度估计式 (3.2)看到 ,最速下降的收敛速度与 矩阵Q的条件数 有关 ,当 接近于 1, 最速下降收敛很快 , 特别 , 当1即 Q的所有特征值相等时 , 算法只需一次迭代即可求出最优解 . 而当 较大时 (Q接近病态） ,算法收敛很慢 . 结论：最速下降法的收敛速度比较慢， 通常将其用在某些算法的初 始阶段求较好的初始点或作为某些算法的间插步 . 【实验环境】 Win 7 ； Matlab7.0 二、实验内容： 【实验方案】 1、求梯度； 2、向梯度相反的方向移动 x，其中 为步长。如果步长足够小，则可以保证每一次迭代都在减 小，但可能导致收敛太慢，如果步长太大，则不能保证每一次迭代都减少，也不能保证收敛。 3 、循环迭代步骤 2 ，直到 x 的值变化到使得 在两次迭代之间的差值足够小，比如 0也就是说， 直到两次迭代计算出来的 基本没有变化， 则说明此时 已经达 到局部最小值了。 4、此时，输出 x，这个 x 就是使得函数 最小时的 x 的取值 。 【实验过程】 梯度下降法的计算过程就是沿梯度下降的方向求解极小值 （也可以沿梯度上升方向求解极大值）。 其迭代公式为 ,其中 代表梯度负方向， 表示梯度方向上的搜索步 长。梯度方向我们可以通过对函数求导得到，步长的确定比较麻烦，太大了的话可能会发散，太小收敛速度又太慢。一般确定步长的方法是由线性搜索算法来确定，即把下一个点的坐标 ak+1 看做是的函数，