第二章无约束非线性规划[]教材.ppt

浙江理工大学经济管理学院 * 2.3 无约束极值问题 四、牛顿法 （3）牛顿法优缺点 优点：收敛速度快。 缺点：有时进行不下去而需采取改进措施；当维数较高时，计算塞黑矩阵的逆工作量太大。 可采用其他方法，如共轭梯度法，变尺度法等。 定理5.3 ： 设 ,且 正定,记 是由修改的牛顿法 所得到的迭代点列,若水平集 有界,则 必有 聚点,且任一聚点 必满足 . 牛顿法的特征: 1 .牛顿法应用于具有正定阵 的二次函数时,只要一次迭代就 可以达到无约束优化问题的最优解,即算法具有二次收敛性. 2 .当初始点接近极小点时,牛顿法产生的序列 以二阶收敛 速度趋于问题的平稳点,但当初始点与极小点较远时, 阵 可能是奇异的，牛顿方向不存在,或者 阵不正定, 不再是下降方向,此时需要使用改进的牛顿法,其收 敛速度极大降低,因此,应该尽可能选取离极小点较远的初始点. 3 .牛顿法对目标函数要求高(二阶连续可微)且需要较多存储单元, 每次迭代要进行矩阵求逆运算. 二. 拟牛顿法(变尺度法) 修改的牛顿法具有全局收敛性和收敛快的特点,但还存在一个 缺点,即在每步确定搜索方向 时,要计算 阵及其逆矩阵 ,这个计算工作最大.于是又有一 种设想,将确定搜索方向 公式中的 用n阶矩阵 代 替,从而在第k次迭代时 由线性搜索得到，其中 和初始矩阵 是预先给定的, 在迭代中,利用一阶导数按某中规则得到. 确定 的一种自然想法是将 作为 的近似来 构造,注意到 是对称的,且有关系 即 若记 = , , , 必须满足: 1 .对称正定 2. 满足拟牛顿方程 (2.30) 另外,再设想 是 由经过简单修正而得到的,即 校正矩阵 自然应是对称矩阵,由(2.30)式应满足 (2.31) 满足(2.31)的对称矩阵有无穷多个,因此,拟牛顿算法是一族算法, 其最常见的算法所谓DFP是由 提出,后经 过改进形成的算法,它是目前无约束极小化问题最有效的方法之一. DFP算法 设校正矩阵的形式为: (2.32) 其中, , 为待定参数, 为待定向量.,这种形式显然是对 称的，于是利用拟牛顿方程(2.31)有: 简单的做法是取 (2.34) 此时能使(2.33)成立,又因 , 为数,因此为使(2.34)成立 的简单做法是取 因此, DFP算法中的计算公式为: DFP算法步骤: