5无约束优化方法汇编.ppt

第四章 无约束最优化方法 第一节 概述 第二节 最速下降法 第三节 牛顿法 第四节 共轭方向法 第五节 变尺度法 第六节 坐标轮换法 第七节 powell法 作业 第一节 概 述 一、求解问题 二、方法分类 解析法 数值法 间接法：用导数信息构造搜索方向d(k) 直接法：用函数信息构造搜索方向d(k) 三、数值法的基本问题 显然，若使数值法切实可行，必需首先解决以下四个问题： 如何确定某点处的搜索方向？ 如何确定步长？ 如何确定迭代过程的终止准则？ 如何衡量数值算法的好坏？ 下降性 简便性 收敛性 四、算法的收敛性 这里X*是无约束问题的局部解。 所谓收敛，是指序列{X(k)}或它的一个子列(不妨仍记为{X(k)})满足 若对于某些算法来说,只有当初始点X(0)充分靠近极小点X*时，才能保证序列{X(k)}收敛到X*，则称这类算法为局部收敛。 反之，若对任意的初始点X(0)，产生的序列{X(k)}收敛到X*，则称这类算法为全局收敛. 如果算法产生的序列{X(k)}虽然收敛到X*，但收敛的太“慢”，以致于在计算机允许的时间内仍得不到满意的结果，那么，这类算法也称不上好算法. 五、算法的收敛速率 设序列{X(k)}收敛到x*,若极限 存在，当0β1时，则称{X(k)}为线性收敛；当β=0，则称{X(k)}为超线性收敛；因为次线性收敛的收敛速度太慢，一般不考虑它。 设序列{X(k)}收敛到x*，存在某个p≥1，若极限 存在 则称{X(k)}为p阶收敛。当p1时，p阶收敛必为超线性收敛，但反之不一定成立。在最优化算法中，通常考虑线性收敛、超线性收敛和二阶收敛。 上面谈到的收敛性和收敛速率能够较为准确地刻划出算法的优劣程度，但使用起来比较困难。特别是证明一个算法是否收敛或具有什么样的收敛速率，需要很强的理论知识。在这里给出一较为简单地判断算法优劣的评价标准——算法的二次终止性。 定义：若某个算法对于任意的正定二次函数，从任意的初始点出发，都能经有限步迭代达到其极小点，则称该算法具有二次终止性。 六、算法的二次终止性 从某一点X(k)出发，以该点的最速下降方向：即负梯度方向 －?f(X(k))，进行一维搜索，得最优步长?k，从而获得新的迭代点X(k+1)，如此重复迭代，即得到无约束问题的最优解. 第二节 最速下降法 一、方法说明 二、几何说明 相邻两次搜索方向正交， 由 得 (1) 取初始点X(0)，精度指标?，置k=0. 三、算法步骤 (2) 若 则停止计算，将X(k)作为无约束问题的最优解输出； 否则置 (3)求解一维问题 (4)置k=k+1，转(2). 得 3. 若一维搜索是精确的，则最速下降法产生的相邻两次的搜索方向是相互正交的。 四、算法特点 由此表明，最速下降法相邻的两次迭代的前进方向是相互垂直的，因而整个行进路径呈锯齿形，因此从全局来看,收敛较慢。从前面的分析可以得到这样一个结论：最速下降法不最速。换句话说，最速下降方向未必是最好的搜索方向。应该考虑其它的下降方向作为搜索方向。 1. 要求目标函数连续可导； 2. 当初始点远离最优点时，或目标函数形态。接近于圆（或球）时，步长较大，收敛较快； 1　Newton法的基本思想 若x*是无约束问题的局部解，则x*满足 第三节 牛顿法 因此,可以通过求解该方程组来得到无约束最优化问题解。注意到该方程组是非线性的，处理起来比较困难，因此考虑原目标函数在点X(k)处的一个二次逼近： 该二次函数的极小点可由下式求得： 即： 将二次函数的这个极小点作为原目标函数极小点的近似，即： 由此可见，牛顿法的搜索方向为： 步长为： (1) 取初始点X(0)，精度指标?，置k=0. (2) 若 则停止计算，将X(k)作为无约束问题的最优解输出； 否则置 (3)求新的迭代点 (4)置k=k+1，转(2). 2 算法步骤： 3 例题 Newton法的优点: (1)Newton法产生的点列{X(k)}若收敛，则收敛速度快，具有二阶收敛速率(证明略)。 (2)Newton法具有二次终止性。 4 算法特点： Newton法的缺点: (1)可能会出现在某步迭代时目标函数值上升，即存在k，使得f(X(k+1))f(X(k))。如在上例中,取x(1)=(1，1)T，f(x(1))=4，由Newton法得到的x(2)=(-0.75,-1.25)T，此时，f(x(2))=4.5156函数值上升。 (2)当初始点x(1)距x*较远时，产生的点列{X(k)}可能不收敛；或者收敛到鞍点；或者H(x(k))奇异无法计算。 (3)需要计算Hesse矩阵,计算量