本章要点最速下降法的基本思想及特点牛顿方向Newton法.pptVIP

共轭梯度法评注 1、共轭梯度法的优点是不必计算Hesse矩阵及其逆矩阵，程序简单，对大规模问题很有吸引力。对凸二次函数最多n步终止，而对一般函数为超线性收敛。 2、收敛速度依赖于一维搜索的精确性及Hesse矩阵的特征值的分布。 对一般函数的共轭梯度法注意问题 把前面的共轭梯度法推广到对于一般函数的共轭梯度法，需要注意的几点: 1. 步长 λk 不能够用前面的公式计算, 用其他的一维搜索方法来确定。 4. 一种方法是直接延续，一直利用我们的方法做下去，即到了n步仍然不停止，直到满足了停止条件。 3. 用这种方法求任意函数的极小点，一般来说，有限步迭代是达不到的。所以需要采取一些策略。 2. 凡用到矩阵A的地方， 需要用现行点处的海赛矩阵▽2f (x(k)) 5. 另一种方法是把n步作为一轮，每搜索一轮后，取一次最速下降方向，开始下一轮。这种策略称为“重新开始”或“重置”。 ——更常用 由于共轭梯度法中各个搜索方向的共轭性依赖于初始方向为负梯度方向，共轭方向只有n个，为了保持共轭方向性，所以每次迭代n步后，重新从一个负梯度方向开始。另外由于每次计算的λk 和βk不精确，所以有积累误差，它影响到算法的收敛性，通常为了避免积累误差，所以重新开始整个算法。 6. 对于一般函数时，前面的几种共轭梯度法计算βk得到的搜索方向是不同的，所以不是等价的。经验证对于二次凸规划，一般用FR