最优化理论第三章使用导数的无约束最优化方法.ppt

4.拟牛顿法 4.4 4.拟牛顿法 5.信赖域方法 4.拟牛顿法 5.信赖域方法 6.最小二乘法 6.1最小二乘问题 6.2 6.3 6.最小二乘法 6.最小二乘法 6.最小二乘法 第 三 章 使用导数的无约束最优化方法 无约束最优化： 无约束最优化： 1）使用目标函数的导数 （本次课内容） 2）直接方法，只计算目标函数值 不计算导数（模式搜索等） 研究方向， 不同的方向搜索方法 不同算法。 这里是一维搜索的推广，一般无约束问题。 1.最速下降法 1.1思想 1.最速下降法 1.2 算法 1.最速下降法 3）第三次迭代 2）第二次迭代 1.最速下降法 1.3最速下降算法的收敛性 定理1： 定理2： 1.最速下降法 2.牛顿法（一般无约束间返的牛顿法） 2.1思想： 2.2算法 例2： 2.牛顿法 2.3二次终止性 2.牛顿法 2.牛顿法 2.牛顿法 3.共轭梯度法（无约束优化 核心是搜索方向） 3.1共轭方向： 定义： 推广： 特例： 3.2FR共轭梯度法（1952年，Fletcher-Reeves提出） 3.共轭梯度法 3.共轭梯度法 3.共轭梯度法 3.共轭梯度法 4.1 4.2 4.拟牛顿法 4.拟牛顿法 4.3 4.拟