华中农业大学现代设计方法课件第二章 第四节.pptVIP

现代设计方法 第二章 优化设计 * §2.4 无约束优化法 梯度法 牛顿法 共轭方向法 变尺度法 共轭梯度法 一、梯度法 1.基本思想 梯度方向是函数增加最快的方向，而负梯度方向是函数 下降最快的方向； 梯度法以负梯度方向为搜索方向，每次迭代都沿着负梯 度方向一维搜索，直到满足精度要求为止； 因此，梯度法又称为最速下降法。 设在某次迭代中已取得迭代点 ，从该点出发，取负梯度方向： 式中， 这样，第k+1次迭代计算所得的新点为： 梯度法迭代公式 因为 为已知，故 和 易求出，只要知道步长 后，就可以得到新点，且能保证 如此反复计算，直到达到最优点 。 为了使目标函数值在搜索方向 上获得最多的下降，沿负梯度方向一维搜索，从而求得最优步长 。 2.迭代步骤 步骤一 任选初始点 ，计算精度ε，令k=0； 步骤二 计算 点的梯度 及梯度的模 ， 并令 步骤三 判断是否满足精度指标 若 ，则 为近似最优点，迭代停止， 输出最优解 和 若不满足，转下一步 步骤四 以 为出发点，沿负梯度方向求最优步长 ， 即沿 进行一维搜索，求能使函数值下降最多的步 长因子 ； 步骤五 确定新的近似点 ，此点就是下次迭代的出发点， 即 步骤六 令k=k+1转步骤二，直到满足精度要求为止。 给定 、 k=0 ？ 转出 k=k+1 梯度法的程序框图 3.举例 用梯度法求函数 的极小值， 初始点 ，计算精度 。 解 (1)计算梯度： (2)计算函数在点 的梯度及梯度的模： (3)因为 ，不满足精度指标，转入第(4）步； (4)从 出发，沿着方向 一维搜索， 将 代入目标函数并求其极小值 式中 为单变量α的一维函数，令 所以求得一维优化的最优步长 (5)新点 (6)计算目标函数在点 的梯度及梯度的模 由于已满足精度要求，故停止迭代下去，得到最优解为： 二、牛顿法 1.基本思想 设目标函数是连续二阶可微的，将函数在点 按泰勒级数展开，并取到二次项： 将其展开为： 对x求导，其极值点必满足一阶导数为零，所以， 得到 上式与一维搜索公式 比较，则有 搜索方向 ，步长因子 牛顿法的迭代算式 其中 称为牛顿方向。 2.迭代步骤 步骤一 给定初始点 ，计算精度ε，令k=0； 步骤二 计算 点的梯度 、二阶导数矩阵 及其逆矩阵 。 步骤三 构造搜索方向 步骤四 沿 方向进行一维搜索，得迭代点 步骤五 收敛判断： 若 ，则 为近似最优点，迭代停止， 输出最优解 和 终止计算。 若不满足，令k=k+1，转第二步继续迭代。 3.举例 用牛顿法求函数 的极小值。 解： (1)取初始点 (2)计算牛顿方向 故 (3)极小值 数学分析表明，牛顿法具有很好的局部收敛性质，对二次函数来说，仅一步就达到优化点， 但对一般函数来说，在一定条件下，当初始点的选取充分接近目标函数的极小点时，有很快的收敛速度，但若初始点选取离最小点比较远，就难保证收敛； 牛顿法必须求一阶、二阶导数及求逆阵，这对较复杂的目标函数来说，是较困难的。 三、变尺度法 变尺度法是优化方法在最近二十几年来发展起来的最有影响的研究成果之一，它被公认为是求解无约束极值问题的最有效的算法之一，这种方法是在牛顿法基础上发展起来的一种共轭方向法，用得较多的是DFP变尺度法。 1.DFP(Davidon-Fletcher-Powell) 牛顿法虽比梯度法收敛的快，但必须求目标函 数的二阶导数及逆阵，不仅困难且工作量大，因此 在牛顿法基础上Davido