无约束问题一种混合优化算法.docVIP

无约束问题一种混合优化算法 　　【摘要】本文针对无约束最优化问题提出了一种混合迭代算法。将最速下降法与阻尼牛顿法相结合，使得在迭代初始值不太好的情况下也能保证全局收敛性，同时加快收敛速度。初步的数值计算结果也表明该混合算法具有较好的收敛效果。 　　【关键词】无约束优化；最速下降法；阻尼牛顿法；全局收敛性 　　 　　一、引言 　　无约束最优化问题是我们在现代科研过程或工程技术中经常遇到的一类问题。无约束问题的算法大致分成两类：一类在计算过程中要用到目标函数的导数，如最速下降法、牛顿法、共轭梯度法等；另一类只用到目标函数值，又称为直接方法，例如单纯形搜索法、Powell方法等。 　　本文从最速下降法和阻尼牛顿法出发，扬长避短，试图给出一种比较实用的迭代算法。 　　二、问题描述 　　1、最速下降法 　　(1)算法原理 　　最速下降法又称为梯度法，是1847年著名数学家Cauchy提出的，它是解析法中最古老的一种，也是最优化方法的基础。 　　设函数f(x)在Rn上具有一阶连续偏导数。最速下降法的基本思想是：从当前点x(k)出发，取函数在点x(k)处下降最快的方向作为我们的搜索方向d(k)。基于这种思想，我们可以证明，负梯度方向为最速下降方向，即p(k)=d(k)=f(x(k))。则求解该问题的最速下降法的计算步骤如下： 　　算法1： 　　①给定初始点x(1)∈Rn，允许误差ε0，置k=1。 　　②计算搜索方向d(k)=f(x(k))。 　　③若‖d(k)‖≤ε,则停止计算；否则，从x(k)出发，沿d(k)进行一维搜索，求，使=。 　　④令x(k+1)=x(k)+(k)迭代，置k=k+1，转步骤②。 　　(2)收敛性 　　最速下降法在一定条件下是收敛的。Hesse矩阵2f(x(k))的条件数越小，最速下降法收敛越快；当矩阵的条件数比较大时，锯齿现象的影响尤为严重。因此，在实际运用中，常将最速下降法和其他方法联合应用，在前期使用最速下降法缩小范围，而在接近极小点时，可改用收敛较快的其他方法来精确。 　　2、阻尼牛顿法 　　(1)算法原理 　　设f(x)是Rn上的二阶连续可微函数。牛顿法的迭代方向为：p(k)=s(k)=－H(x(k))-1f(x(k))，其中H(x(k))是f(x)在x(k)点的Hesse矩阵。牛顿法具有二阶收敛速度，但只有当初值取在解的领域时才能收敛，否则算法可能失败；另外牛顿法也不能保证每次函数值都下降，因此在最优化计算中常用阻尼牛顿法。 　　阻尼牛顿法与原始牛顿法的区别在于增加了沿牛顿方向的一维搜索，因此每次迭代函数值都会有所下降。可以证明，阻尼牛顿法在一定的条件下具有全局收敛性，且为二阶收敛。阻尼牛顿法的计算步骤如下： 　　算法2： 　　①给定初始点x(1)∈Rn，允许误差ε0，置k=1。 　　②计算f(x(k))，2f(x(k))-1。 　　③若‖f(x(k))‖≤ε,则停止迭代；否则，令s(k)=－2f(x(k))-1f(x(k))。 　　④从x(k)出发，沿s(k)进行一维搜索，求，使=。 　　⑤令x(k+1)=x(k)+(k)，置k=k+1，转步骤②。 　　(2)收敛性 　　牛顿法的收敛速度是很快的，一般至少二级收敛。但值得注意的是，当初始点远离极小点时，牛顿法可能不收敛。原因之一，牛顿方向p=－2f(x)-1f(x)不一定是下降方向，且得到的点x(k+1)也不一定是沿牛顿方向的最好点或极小点。（关于最好点的相关研究可参考文献[5]）因此我们使用阻尼牛顿法和最速下降法相结合进行算法改造。 　　三、算法改进 　　最速下降法是以负梯度方向作为搜索方向，一维搜索得到步长因子；但从全局来看，最速下降法并不是收敛最快的方法，因次，最速下降法一般适用于计算过程中的前期迭代或作为间插步骤。而阻尼牛顿法的收敛速率较快，在充分靠近极小点时，有二次收敛速度，因次，阻尼牛顿法经常用作其他算法的修正。鉴于这两种算法的以上优缺点，我们考虑将这两种算法结合起来，取长补短，以达到既能保证收敛性，又能加快收敛速度的目的。算法改进的总体思路如下： 　　(1)首先用最速下降法迭代，在大范围内找到一个好的初始点给阻尼牛顿法； 　　(2)在最优点附近改用阻尼牛顿法，用最速下降法找到的点作为阻尼牛顿法的初始点，提高逼近速度与精度； 　　基于此思想，得到改进后的算法步骤如下： 　　算法3： 　　①给定初始点x(1)∈Rn，允许误差ε0，置k=1； 　　②计算d(k)=f(x(k))，检验是否满足收敛性的判别准则：若‖d(k)‖≤ε,则停止迭代，点≈x(k)即为极值点；否则进行③； 　　③从x(k)出发，沿d(k)进行一维搜索，求，使： 　　=； 　　④令x(k+1)=