共轭方向法共轭梯度法共轭梯度法共轭梯度法.ppt

　无约束极值问题 　无约束极值问题 无约束最优化方法 无约束极值问题的求解方法通常称为无约束最优化方法 (unconstrained optimization method) 如何选择搜索方向是无约束最优化方法的核心，且不同的搜索方向形成不同的最优化方法。 无约束极值的求解方法包括： 最速下降法 牛顿法 共轭梯度法 变尺度法 最速下降法回顾 最速下降法回顾 1、确定搜索方向，选取最快的下降方向 2、确定步长 最速下降法回顾 3、例子 最速下降法回顾 最速下降法存在的问题： 牛顿法 牛顿法的基本思想 为了寻找收敛速度快的无约束最优化方法，我们考虑在每次迭代时，用适当的二次函数去近似目标函数f，并用迭代点指向近似二次函数极小点的方向来构造搜索方向，然后精确地求出近似二次函数的极小点，以该极小点作为f的极小点近似值。 牛顿法 假设目标函数f具有二阶连续偏导数，即 此时，可以利用Taylor展开式作f在点 处的近似函数：  * 无约束极值问题可简单表述为： min f(X)，X?Rn　　（n维欧氏空间） X(k+1)=X(k)+?p(k) 且满足 f [X(k+1)] f [X(k)] 这样逐步迭代直至满足精度条件 ‖▽f [X(k+1)]‖ ?1 (梯度绝对值?1) 对于无约束最优化问题： min{ f (X)}, X = (x1 , x2 , …, xn)T 假设已经迭代了k次，第k次迭代点为 且 最速下降法回顾 最速下降法回顾 牛顿法 牛顿法 例子： 以上例子说明，牛顿法比最速下降法收敛快。 牛顿法 牛顿法 牛顿法 共轭梯度法 最速下降法和牛顿法是最基本的无约束最优化方法，它们的特性各异： 最速下降法计算较小而收敛速度慢； 牛顿法虽然收敛速度快，但需要计算目标函数的Hesse矩阵及其逆矩阵，故计算量大。 接下来将要介绍一类无需计算二阶导数并且收敛 速度快的方法——共轭梯度法。 共轭梯度法 1、共轭方向法 共轭梯度法 *