优化：最速下降法和Newton法.pptVIP

* 该算法有较好的稳定性及较快的收敛速度 * 从Newton法出发进行修改 ，利用其优点，克服 其缺点，产生很多效果非常好的其他新算法 上面的Newton法的两种修正形式，在较弱的条件下 具有超线性收敛性或二次收敛性. 还有很多其他的修正形式 Newton法 的优点：收敛快； 缺点：对初始点要求很高，而且 计算量大 注意： * 最优化 主讲：刘陶文 课件制作：刘陶文 唯楚有材 於斯为盛 学好最优化，走遍天下都不怕 * 第三章 无约束问题算法(I)—— 最速下降法、 Newton法 第一节 最速下降法 第二节 Newton法及其修正形式 * * 第一节 最速下降法 1、 思想 ：每次沿负梯度方向进行搜索 ● ● 等值线(面) ● 最古老的优化方法，十九世纪中叶由Cauchy提出 * 负梯度方向也称为最速下降方向： 以负梯度为搜索方向的算法称为最速下降法 * 2、 算法步骤 最优化算法看来是如此的简单？ * * 事实上，上面的例子刻画了最速下降法的所有收 敛特征 * 3、 最速下降法的收敛性 全局收敛性 * 收敛速度估计 * * 从上图可以看出，最速下降法 具有锯齿现象 * 对一般的非二次函数有下面的收敛速度估计： 定理的证明参见文献[19,定理3.4] * 由上面的分析可知，最速下降法的收敛速度 比较慢，通常将其用在某些算法的初始阶段求较 好的初始点或作为某些算法的间插步. 思考题： 有点难啊 * * * 第二节 Newton法及其修正形式 1、思想：用近似二次函数的极小点作为原问题的新的近似解 几何解释： ● ● * * * 2、 Newton法的算法步骤 * * 对不同的两个初始点，经一次迭代求出最优解， 这是偶然还是必然的呢？ * * 下面我们来看看最速下降法与Newton法求解二次 函数的比较 * ● ● ● 等值线 * 3、Newton 的收敛性 * 4、 局部二次收敛性 * (1) 收敛性略，参见前面的牛顿法的收敛性 (2) 收敛速度 * * * 5、 Newton法的修正形式：如何有效计算下降方向 *