第7讲无约束问题求解.pptVIP

一类是使用导数的方法，也就是根据目标函数的梯度（一阶导数）有时还要根据Hesse矩阵（即二阶导数）所提供的信息而构造出来的方法，就称为梯度方法。如：最速下降法，Newton法，共扼梯度法和变尺度法。另一类是不使用导数的方法，统称为直接方法。 前者收敛速度快，但计算复杂（一阶，二阶导数）后者不用导数，适应性强，但收敛速度慢。因此再可以求得目标函数导数信息时，尽可能用另一方法，而若求目标函数导数很困难，或者根本不存在导数时，就用后一种方法. 1 选定初始点 ，并给定精度 ，令 （三）梯度法的优缺点 （三）牛顿法的优缺点 * 无约束极值问题算法（1） （2学时） 无约束极值问题算法（2） （2学时） 第4章 无约束极值问题 梯度法（最速下降法） （0.5学时） 牛顿法 （0.5学时） 变尺度法（拟牛顿法） （1学时） 第7讲 无约束极值问题算法（1） 重 点：梯度法、牛顿法和变尺法的搜索方向的构成、迭代算式。 难 点：变尺度阵的构造。 基本要求：掌握梯度法、牛顿法和变尺法的迭代算式和迭代步骤， 理解各算法异同和优缺点。 无约束最优化可以分为两大类： 最速下降法是求多元函数极值的最古老的数值算法，它直观，简单，计算方便，而且后来的一些新的有效的方法大多数是对它的改进，或受它的启发而得到的。其缺点是收敛速度较慢。 （一）算法思想： 假定我们已经迭代到第 K次，已有 从 出发进一步迭代。 梯度法（最速下降法） 显然应沿下降方向进 行 ，而下降最快的方向是 为了使目标函数沿此方向下降的最多，　　沿此方向进行直线搜索，从而得到第k+1次迭代点 　　即 其中最佳步长因子 　　满足 （二） 算法步骤 2 若 ，则停止， 否则令 3 由 求出最佳步长 。（可用精确法、 一维搜索求最佳步长,或用公式 ） 5 令 返回第2步 4 计算 例1 用梯度法求解 （1） 已知（1） （2） 解： 第一步迭代： 最佳步长为 新的迭代点为 故 为精确极小点。 （2） 第一步迭代： 最佳步长为 新的迭代点为 第二步迭代： 最佳步长为 新的迭代点为 需继续进行下一步迭代 停止迭代， 近似极小点为 近似极小值为 例2：求解： 解： （1）取初点 则 = 令 得 然后再从 开始新的迭代，经过10次迭代，得最优解 计算中可以发现，开始几次迭代，步长比较大，函数值下将降较快但当接进最优点时，步长很小，目标函数值下降很慢。 （2）取 一步就得到了极小点。 这就造成了最优步长的最速下降法逼近极小点过程是“之”字形，并且越靠近极小点步长越小，移动越慢，以至在实际运用中在可行的计算时间内得不到需要的结果。 这似乎与“最速下降”的名称矛盾。其实不然，因为梯度是函数局部性质，从局部看，函数在这一点附近下降的很快，然而从整体看，则走过了许多弯路。因此反而是不好的。 性质：最速下降法的相邻两个搜索方向总是垂直的。 优点 （1）形象直观，程序简单，占内存少； （2）开始时收敛快。 缺点 采用梯度法其搜索路径呈直角锯齿状，越靠近最优解收敛越慢。 适用场合 梯度法经常与其他方法联合使用，在前期使用梯度法，而在接近最优点时使用其他方法。 (一）算法的基本思路： 考虑到 到 的确迭代过程，在 点处对 Tayloy展开： 如果目标函数在上具有二阶导数，共Hesse矩阵正定，并 且表达式为量式时，就可使用下述Newton法。这种方法 收敛速度很快。其缺点是计算量大，二是很赖于初始点的 选择。 牛