无约束优化算法--最速下降法归类.pdfVIP

无约束优化算法 无约束优化算法问题，是指优化问题的可行集为 n R ，无约束的标准形式为： min f ( x) f : Rn R 1. 最优性条件 （1） 极小值点的一阶必要条件 * * 设 f (x ) : Rn R为连续可微函数，如果 x 为局部极小值点，则 x 为驻点，即梯度 * f (x ) 0 。 （2 ） 极小值的二阶必要条件 * * 设 f (x ) : Rn R为二阶连续可微函数，如果 x 为局部极小值点，则 x 为驻点，即 梯度 * 2 * f (x ) 0 ，二阶 hesse f ( x ) 半正定。 （3 ） 极小值点的二阶充分条件 n * 设 f (x) : R R 为 二 阶 连 续 可 微 函 数 ， 如 果 梯 度 f (x ) 0 ， 二 阶 h ess e 2 * * * n f (x ) 正定，则 x 为 f 的局部极小值点， x R 。 以上三个定理为搜索最优点以及判断一个点是否为最优点的基本依据。 经典的优化算法 的停止条件为 * ，例如在程序中 * 8 ，即在导数范数小于某特定误 f (x ) 0 f ( x ) 1 10 差限时停止。误差限较大，则算法迭代次数减少，计算时间缩短，但解得质量降低；误差限 8 较小，则算法迭代次数增加，计算时间增加，但解的质量提高；误差限一般为 1 10 ，可 以根据实际情况设定合适的误差限。 当然， 还有极小值点的二阶必要条件与极小值点的二阶 2 * 充分条件，对 f (x ) 的判断，由于目标函数比较复杂，二阶导数矩阵的计算量极大，所 2 ( k ) 2 (k 1) 以一般算法都在迭代过程中对 f (x ) 进行修正，得到 f (x ) ，在修正的过程中始 终保持 2 * 的正定性，以此方法解决极小值点的二阶条件问题。 f