第三章梯度法和共轭梯度法.pptVIP

第一页，共二十六页，2022年，8月28日 一. 无约束最优化问题 解析方法：利用函数的解析性质构造迭代公式，使之收敛到最优解。 第二页，共二十六页，2022年，8月28日 下降迭代算法的概念回顾 1.一般迭代算法 集合S上的迭代算法A： （1）初始点 ； （2）按照某种规则A产生下一个迭代点 。 （i）如果点列 收敛于最优解 ，则称算法A收敛。 （ii）如果 ，则称算法A为 下降迭代算法。 . . . 第三页，共二十六页，2022年，8月28日 2.下降迭代算法步骤 （1）给出初始点 ，令 ； （2）按照某种规则确定下降搜索方向 ； （3）按照某种规则确定搜索步长 ，使得 ； （4）令 ， ； （5）判断 是否满足停止条件。是则停止，否则转第2步。 搜索步长确定方法： 称 。 为最优步长，且有 第四页，共二十六页，2022年，8月28日 二. 最速下降法（梯度法） 迭代公式： 如何选择下降最快的方向？ 第五页，共二十六页，2022年，8月28日 最速下降法（梯度法）： 最速下降法算法步骤： 第六页，共二十六页，2022年，8月28日 解： 第七页，共二十六页，2022年，8月28日 收敛性 性质. 第八页，共二十六页，2022年，8月28日 第九页，共二十六页，2022年，8月28日 共轭梯度法 1. 共轭方向和共轭方向法 共轭是正交的推广。 第十页，共二十六页，20