使用导数的最优化方法.pptxVIP

会计学;一. 无约束最优化问题; 无约束非线性规划问题的求解方法分为解析法和直接法两类。;本章考虑如下的下降算法：;10.1 最速下降法; 人们在处理这类问题时,总希望从某一点出发,选择一个目标函数值下降最快的方向,以利于尽快达到极小点.正是基于这样一种愿望,早在1847年法国著名数学家Cauchy提出了最速下降法.后来,Curry等人作了进一步的研究.现在最速下降法已经成为众所周知的一种最基本的算法,它对其他算法的研究也很有启发作用,因此在最优化方法中占有重要地位.下面我们先来讨论怎样选择最速下降方向. 我们知道,函数 在点 处沿方向 的变化率可用方向导数来表达,对于可微函数,方向导数等于梯度与方向的内积,即;根据Schwartz不等式,有;如,设 为对称正定矩阵,在向量 的 范数 不大于1的限制下,极小化 ,则得到的最速下降方向与前者不同.; 计算步骤如下:;解：;第三次迭代：;第11页/共72页;在最速下降法的一位搜素中;对于二次严格凸函数;; 从直观上可以看到，在远离极小点的地方，每次迭代都有可能使目标函数值有较多的下降，但在接近极小点的地方，由于锯齿现象，每