【2017年整理】第6章 无约束问题的优化方法.docVIP

第6章 无约束问题的优化方法 §6.1 最速下降法和牛顿法 6.1.1 最速下降法的基本原理、计算步骤和特点 基本原理： 考虑无约束问题 从某一点出发，选择一个目标函数值下降最快的方向，可以尽快达到极小点． 1847年法国数学家Cauchy提出了最速下降法．后来，Curry等人作了进一步研究． 最速下降方向是目标函数的负梯度方向： 最速下降法的迭代公式： 取为在点处的最速下降方向： 为进行一维搜索的步长，满足： 计算步骤： (l)给定初点，允许误差，置. (2)计算搜索方向. (3)若，则停止计算；否则，从出发，沿进行一维搜索，求，使 (4)令,置，转步骤（2）. 例1 解问题 初点，. （最优解） 第1次迭代：目标函数在点处的梯度 令搜索方向 从出发，沿方向进行一维搜索，求步长，即 令(一般应采用不精确一维搜索求解)，解得 在直线上的极小点： 第2次迭代： 解得 第3次迭代： 解得 这时有 满足精度要求，得到近似解 最速下降算法的特点： 最速下降算法在一定条件下是收敛的． 最速下降法产生的序列是线性收敛的，而且收敛性质与极小点处Hesse矩阵的特征值有关． 定理1: 设存在连续二阶偏导数，是局部极小点，Hesse矩阵的最小特征值，最大特征值为，算法产生的序