第四章多变量优化计算的梯度方法精要.pptVIP

§4.4.1 梯度法（最速下降法） 根据一元函数极值的必要条件及复合函数求导公式得 最速下降法 梯度法的特点 （1）理论明确，程序简单，对初始点要求不严格。 （2）对一般函数而言，梯度法的收敛速度并不快，因为最速下降方向仅仅是指某点的一个局部性质。 （3）梯度法相邻两次搜索方向的正交性，决定了迭代全过程的搜索路线呈锯齿状，远快近慢。 （4）梯度法的收敛速度与目标函数的性质密切相关。对于等值线(面)为同心圆（球）的目标函数，一次搜索即可达到极小点。 4.4.2 共轭梯度法 共轭梯度法是共轭方向法中的一种，该方法中每一个共轭向量都是依赖于迭代点处的负梯度而构造出来。 从xk出发，沿负梯度方向作一维搜索: 4.4.2 共轭梯度法 4.4.2 共轭梯度法 则： 4.4.2 共轭梯度法 4.4.2 共轭梯度法 4.4.2 共轭梯度法 4.4.3 牛顿法和修正牛顿法 牛顿法 牛顿法的缺点 （1） 初始点应选在X*附近，有一定难度； （2） 尽管每次迭代都不会是函数值上升，但不能保证每次下降 ； （3） 若迭代点的海赛矩阵为奇异，则无法求逆矩阵，不能构造牛顿法方向； ??（4）?不仅要计算梯度，还要求海赛矩阵及其逆矩阵，计算量和存储量大。此外，对于二阶不可微的F(X)也不适用。 特定条件下它具有收敛最快的优点 4.4.4 变尺度法 牛顿法和变尺度法 设 为 的极小点 这就是多元函数求极值的牛顿法迭代公式。 例4－4 求目标函数 的极小点。 解 取初始点 经过一次迭代即求得极小点 函数极小值 例 用牛顿法求解函数 的极小值初始起始点[1，1]T。 对于正定二次函数，该方法可以直达极小点。 因此对于非二次函数，如果采用上述牛顿迭代公式，有时会使函数值上升 。 修正牛顿法（阻尼牛顿法） 阻尼因子 ，沿牛顿方向进行一维搜索的最佳步长，由下式求得： 阻尼牛顿法程序框图 阻尼牛顿法方法特点 一般迭代式： 梯度法： 牛顿法： 阻尼牛顿法： 修正牛顿法既保持了牛顿法收敛快的特性又放宽了对初始点选择的要求，并能保证每次迭代都使目标函数值下降。在实际应用中由于要求海森矩阵是非奇异的，另外求逆阵的计算工作量大， 尤其是维数较高时， 计算量与存贮量 都随n2增加。 在A点由于函数接近平方函数，因而由A点进行搜索，用牛顿方向更有效和更快； 若从B点进行搜索，由于此点的目标函数不完全是二次函数，因此采用梯度方向进行搜索可以获得更好的效果 1. 变尺度的基本思想： 发扬梯度法和牛顿法各自的优点，避免两者各自的缺点，将两者结合起来，形成变尺度法。 * 基本思想：函数的负梯度方向是函数值在该点下降最快的方向。利用负梯度作为搜索方向，故称最速下降法或梯度法。 搜索方向s取该点的负梯度方向 (最速下降方向) ，使函数值在该点附近的范围内下降最快 。 梯度法 为了使目标函数值沿搜索方向 能够获得最大的下降值，其步长因子 应取一维搜索的最佳步长。即有 步长因子 求解方法： 解析法：根据极值点必要条件。 黄金分割法 牛顿法 抛物线法 最速下降法的搜索路径 相邻两个搜索方向互相垂直 在最速下降法中，相邻两个迭代点上的函数梯度相互垂直。 搜索方向就是负梯度方向，因此相邻两个搜索方向互相垂直。 形成“之”字形的锯齿现象，而且越接近极小点锯齿越细。 图 最速下降法的搜索路径 图 最速下降法的收敛过程 沿负梯度方向进行一维搜索，有 例求目标函数 的极小点。取初始点 解：初始点处梯度： 沿负梯度方向进行一维搜索，有 为一维搜索最佳步长，应满足极值必要条件 例 求目标函数 的极小点。 取初始点 第一次迭代设计点位置和函数值 因此，迭代终止： 沿负梯度方向进行一维搜索，有 为一维搜索最佳步长，应满足极值必要条件 例4－2 求目标函数 的极小点。 解 取初始点 则初始点处梯度： 如何求？ 算出一维搜索最佳步长 第一次迭代设计点位置和函数值 继续作下去，经10次迭代后，得到最优解 例 用梯度法求下面无约束优化问题： 例 用梯度法求下面无约束优化问题： 例 用梯度法求无约束优化问题： 例 用梯度法求下面无约束优化问题： 例 用梯度法求下面无约束优化问题： 例 用梯度法求下面无约束优化问题： α α 设与dk共轭的下一个方向dk+1由dk和点xk+1的负梯度的线形组合构成，即： 共轭条件： 解得： 令