第二章无约束非线性规划[]解析.ppt

浙江理工大学经济管理学院 * 2.3 无约束极值问题 四、牛顿法 （3）牛顿法优缺点 优点：收敛速度快。 缺点：有时进行不下去而需采取改进措施；当维数较高时，计算塞黑矩阵的逆工作量太大。 可采用其他方法，如共轭梯度法，变尺度法等。 定理5.3 ： 设 ,且 正定,记 是由修改的牛顿法 所得到的迭代点列,若水平集 有界,则 必有 聚点,且任一聚点 必满足 . 牛顿法的特征: 1 .牛顿法应用于具有正定阵 的二次函数时,只要一次迭代就 可以达到无约束优化问题的最优解,即算法具有二次收敛性. 2 .当初始点接近极小点时,牛顿法产生的序列 以二阶收敛 速度趋于问题的平稳点,但当初始点与极小点较远时, 阵 可能是奇异的，牛顿方向不存在,或者 阵不正定, 不再是下降方向,此时需要使用改进的牛顿法,其收 敛速度极大降低,因此,应该尽可能选取离极小点较远的初始点. 3 .牛顿法对目标函数要求高 二阶连续可微 且需要较多存储单元, 每次迭代要进行矩阵求逆运算. 二. 拟牛顿法 变尺度法 修改的牛顿法具有全局收敛性和收敛快的特点,但还存在一个 缺点,即在每步确定搜索方向 时,要计算 阵及其逆矩阵 ,这个计算工作最大.于是又有一 种设想,将确定搜索方向 公式中的 用n阶矩阵 代 替,从而在第k次迭代时 由线性搜索得到，其中 和初始矩阵 是预先给定的, 在迭代中,利用一阶导数按某中规则得