第五讲无约束优化概要.ppt

* 无约束最优化 标准形式： 求解无约束最优化问题的基本思想 求解的基本思想 ( 以二元函数为例 ) 5 3 1 连续可微 多局部极小 唯一极小 (全局极小) 搜索过程 最优点 (1 1) 初始点 (-1 1) -1 1 4.00 -0.79 0.58 3.39 -0.53 0.23 2.60 -0.18 0.00 1.50 0.09 -0.03 0.98 0.37 0.11 0.47 0.59 0.33 0.20 0.80 0.63 0.05 0.95 0.90 0.003 0.99 0.99 1E-4 0.999 0.998 1E-5 0.9997 0.9998 1E-8 返回 无约束优化问题的基本算法 最速下降法是一种最基本的算法，它在最优化方法中占有重要地位.最速下降法的优点是工作量小，存储变量较少,初始点要求不高；缺点是收敛慢，最速下降法适用于寻优过程的前期迭代或作为间插步骤，当接近极值点时，宜选用别种收敛快的算法. 1．最速下降法（共轭梯度法）算法步骤： 2．牛顿法算法步骤： 如果f是对称正定矩阵A的二次函数，则用牛顿法经过一次迭代 就可达到最优点,如不是二次函数，则牛顿法不能一步达到极值点， 但由于这种函数在极值点附近和二次函数很近似,因此牛顿法的收 敛速度还是很快的. 牛顿法的收敛速度虽然较快，但要求Hessian矩阵要可逆，