使用非精最速下降法确线搜索Armijo算法确定步长的.doc

数学与计算科学学院 实 验 报 告 实验项目名称 使用非精确线搜索Armijo算法确定步长的 最速下降法 所属课程名称 最优化方法 实 验 类 型 算法编程 实 验 日 期 20 班 级 信 学 号 姓 名 成 绩 一、实验概述： 【实验目的】 通过实验掌握最速下降法的Matlab算法的基本步骤； 通过实验掌握Armijo算法确定步长； 掌握最速下降法的思想及迭代步骤。 【实验原理】 1.最速下降法： 最古老的优化方法，十九世纪中叶由Cauchy提出 思想 ：每次沿负梯度方向进行搜索 负梯度方向也称为最速下降方向： 举例： 算法步骤： 优点： 最速下降法的收敛性： 全局收敛性： 收敛速度估计： 结论：最速下降法的收敛速度比较慢，通常将其用在某些算法的初始阶段求较好的初始点或作为某些算法的间插步. 【实验环境】 Win 7； Matlab7.0 二、实验内容： 【实验方案】 1、求梯度； 2、向梯度相反的方向移动x，其中?为步长。如果步长足够小，则可以保证每一次迭代都在减小，但可能导致收敛太慢，如果步长太大，则不能保证每一次迭代都减少，也不能保证收敛。 3、循环迭代步骤2，直到x的值变化到使得在两次迭代之间的差值足够小，比如0也就是说，直到两次迭代计算出来的基本没有变化，则说明此时已经达到局部最小值了。 4、此时，输出x，这个x就是使得函数最小时的x的取值 。 【实验过程】 梯度下降法的计算过程就是沿梯度下降的方向求解极小值（也可以沿梯度上升方向求解极大值）。 其迭代公式为?,其中?代表梯度负方向，?表示梯度方向上的搜索步长。梯度方向我们可以通过对函数求导得到，步长的确定比较麻烦，太大了的话可能会发散，太小收敛速度又太慢。一般确定步长的方法是由线性搜索算法来确定，即把下一个点的坐标ak+1看做是的函数，然后求满足f(ak+1)的最小值的 即可。 因为一般情况下，梯度向量为0的话说明是到了一个极值点，此时梯度的幅值也为0.而采用梯度下降算法进行最优化求解时，算法迭代的终止条件是梯度向量的幅值接近0即可，可以设置个非常小的常数阈值。 【实验结论（结果） 其最小值在?处，函数值为?。但是此函数具有狭窄弯曲的山谷，最小点 就在这些山谷之中，并且谷底很平。优化过程是之字形的向极小值点靠近，速度非常缓慢。靠近极小值时收敛速度减慢。直线搜索时可能会产生一些问题。可能会“之字形”地下降。 【实验小结结论 1．实验名称实验目的目的要明确，要抓住重点， 4．实验环境实验用的软硬件环境。实验（步骤和方法）这是实验报告极其重要的内容。写明依据何种原理、操作方法进行实验，要写明经过哪个步骤。还应该画出流程图再配以相应的文字说明。 6．实验过程（实验中涉及的记录、数据、分析）：写明具体实验方案的具体实施步骤，包括实验过程中的记录、数据和相应的分析。 7．实验结论（结果）根据实验过程中得的，出结论。 小结本次实验体会、思考和建议。　 4 ● ● 等值线(面) ●