最优化：最速下降法和Newton法解析.pptVIP

* 最优化 主讲：刘陶文 课件制作：刘陶文 唯楚有材 於斯为盛 学好最优化，走遍天下都不怕 第三章 无约束问题算法(I)—— 最速下降法、 Newton法 第一节 最速下降法 第二节 Newton法及其修正形式 第一节 最速下降法 1、 思想 ：每次沿负梯度方向进行搜索 ● ● 等值线(面) ● 最古老的优化方法，十九世纪中叶由Cauchy提出 负梯度方向也称为最速下降方向： 以负梯度为搜索方向的算法称为最速下降法 2、 算法步骤 最优化算法看来是如此的简单？ 事实上，上面的例子刻画了最速下降法的所有收 敛特征 3、 最速下降法的收敛性 全局收敛性 收敛速度估计 从上图可以看出，最速下降法 具有锯齿现象 对一般的非二次函数有下面的收敛速度估计： 定理的证明参见文献[19,定理3.4] 由上面的分析可知，最速下降法的收敛速度 比较慢，通常将其用在某些算法的初始阶段求较 好的初始点或作为某些算法的间插步. 思考题： 有点难啊 第二节 Newton法及其修正形式 1、思想：用近似二次函数的极小点作为原问题的新的近似解 几何解释： ● ● 2、 Newton法的算法步骤 对不同的两个初始点，经一次迭代求出最优解， 这是偶然还是必然的呢？ 下面我们来看看最速下降法与Newton法求解二次 函数的比较 *