数值最优化(李董辉)第三章 最速下降法和Newton法.pptVIP

* 最优化 主讲：刘陶文博士 课件制作：刘陶文 唯楚有材 於斯为盛 第三章 无约束问题算法(I)—— 最速下降法、 Newton法 第一节 最速下降法 第二节 Newton法及其修正形式 第一节 最速下降法 1、 思想 ：每次沿最速下降方向进行搜索 2、 算法步骤 3、 最速下降法的收敛性 全局收敛性 收敛速度估计 从上图可以看出，最速下降法 具有锯齿现象 由上面的分析可知，最速下降法的收敛速度 比较慢，通常将其用在某些算法的初始阶段 求较好的初始点 第二节 Newton法及其修正形式 1、思想：用近似二次函数的极小点作为原问题的新的近似解 2、 Newton法的算法步骤 (3.3) 3、Newton的 收敛性 4、 局部二次收敛性 5、 Newton法的修正形式 *