最优化理论与方法课件-第五章 无约束优化线搜索法.pptxVIP

;线搜索法;精确线搜索;最速下降法－收敛性与收敛速率 牛顿法－基本牛顿法和修正牛顿法 拟牛顿法－割线方程、BFGS与DFP更新 共轭梯度法－线性和非线性共轭梯度法;最速下降法 ;负梯度的最速下降性质 掌握二次函数的收敛性质即可 算法是大范围收敛的； 算法从某些特殊的初始点出发，一次迭代可得精确极小点； 是线性收敛的，收敛因子与Hessian阵的条件数有关.;最速下降法－动机与收敛性;最速下降法－例子;最速下降法－收敛速度;最速下降法－收敛速度(续);最速下降法－收敛速度(续);最速下降法－收敛速度(续);最速下降法－收敛速度(续);其它范数意义下的最速下降方向;牛顿法 ;牛顿步的内涵 收敛性质与实用牛顿法 局部二阶收敛； 为了算法的全局收敛，需要使用线搜索策略或者信赖域策略； 如果使用线搜索策略，必要时需要修正牛顿方向以得到下降方向. 牛顿法的缺点 需要计算二阶导数、需要解方程组 存储量开销大;基本牛顿法－牛顿方向/步;基本牛顿法－例;基本牛顿法－例(续);基本牛顿法－例(续);基本牛顿法－例(续);基本牛顿法－局部二阶收敛;基本牛顿法－局部二阶收敛(续);修正牛顿法－牛顿法中潜在的问题;修正牛顿法－一些可能的修正策略;预习作业： 写出线性无关向量组{a, b, c}的正交化过程 写出线性无关函数组{1, t, t2}的正交化过程;共轭梯度法 Conjugate Gradient