几种非线性共轭梯度法的算法分析及全局收敛性分析-algorithm analysis and global convergence analysis of several nonlinear conjugate gradient methods.docxVIP

1 绪论最优化方法是解决最优化问题的一种数值计算方法，是一门应用性很强的学科，在自然科学、社会科学和工程设计中应用极为广泛。最优化讨论决策问题的最佳选择之特性，是构造寻求最佳解的计算方法，研究这些计算方法的理论性质及实际计算表现。随着现代科技和生产的发展，人们在解决一个工程或经济应用问题时，总希望能获得一个最优的方案。而随着计算机技术的发展，应用最优化方法解决问题的领域不断扩大，最优化的理论和方法也在不断发展。最优化成为一门独立的学科是在本世纪40年代末，是Dantzig在1947年提出求解一般线性规划问题的单纯形法之后。“非线性规划”该词首先使用是在Kuhn和Tucker在1951年发表的一篇论文题目中，它标志着非线性规划的产生。随着时代的发展，解线性规划、非线性规划以及多目标规划、随机规划、几何规划、整数规划等各种最优化问题的理论新方法不断涌现，实际应用日趋广泛。最优化问题的一般形式为minf(x)s.t. x∈X其中f(x)为目标函数，x∈X是决策变量，X?Rn为约束集或可行域。约束最优化问题(MP)通式为：(1.1)minf(x)s.t.?ci(x)=0,i∈E,??ci(x)≥0,i∈I,其中E、I分别是等式约束的指标集和不等式约束的指标集，而ci(x)是约束函数。在目标函数和约束函数均为线性函数时，称之为线性规划。在目标函数和约束函数中至少有一个是变量x的非线性函数时，称之为非线性规划。通常根据决策变量、目标函数和要求的不同，最优化还分成了整数规划、动态规划、随机规划、几何规划、多目标规划等若干分支。本文内容主要是针对方法研究，对近年备受关注的非线性共轭梯度算法进行理论性的研究，属于无约束最优化方法研究范畴。1.1无约束优化问题概述本文主要研究求解无约束非线性最优化问题的理论与方法。在(1.1)中，如果约束集X=Rn ，则称为无约束最优化问题(UMP)：minf(x)(1.2)x∈Rn定义1.1.1[1]若对x?∈Rn，且存在ε0，使?x∈{xx?x?ε}均有不等式f(x?)≤f(x),成立，则称x?为无约束最优化问题(1.2)的局部最优解。定义1.1.2[1]如果存在x?∈Rn且f(x?)≤题(1.2)的全局最优解。f(x),?x∈Rn,则称x?为无约束最优化问当目标函数f(x)为凸函数时，则局部最优解即是全局最优解，但一般情况下找全局最优解非常困难，通常在非线性最优化中，认为局部最优解即为所求的解，而实际计算时，通常是找出满足局部最优解必要条件的点。定理1.1.1[1] 若x?∈Rn 为问题(1.2)的一个局部最优解，且在x?的某个邻域内f(x)∈C1，则有?f(x?)=0.上述条件常称为无约束优化一阶必要条件。定义1.1.3[1]设f:Rn →R1在点x?∈Rn处可微.若有?f(x?)=0，则称x?是函数f的平稳点.平稳点定义可以看到，函数的平稳点可以是它的极小点，也可以是极大点，也可以两者都不是。一般把既不是极小点也不是极大点的平稳点称为鞍点。在平稳点概念的基础上，从定理1.1.1可知，x?是无约束最优化问题(1.2)的最优解的必要条件是：x?是无约束最优化问题(1.2)的目标函数f的平稳点。无约束优化二阶必要条件：定理1.1.2[1] 若x?∈Rn为问题(1.2)的一个局部最优解，且在x?的某个邻域内f(x)∈C2，则有?f(x?)=0,?2f(x?)半正定.通常情况下，(UMP)目标函数的平稳点不一定就是(UMP)的最优解。但对于目标函数为凸函数的无约束凸规划(UMP)时，目标函数的平稳点就是它的最优解。定理1.1.3[1]假设f:Rn →R1在点x?∈Rn处可微，f是定义在Rn上的凸函数. 若有?f(x?)=0，则x?就是无约束最优化问题(1.2)的最优解。正是由于约束优化问题解法的很多基本思想均来自于无约束优化问题，目前大量约束优化问题可以转化成无约束优化问题来解决。因此，尽管无约束优化问题在较早时候就受到人们的关注，但现在仍有大量的工作在进行中！1.2常用算法概述在无约束最优化方法中，通过选择搜索方向dk而得到的方法主要有四种：最速下降法，Newton法，共轭方向法，Quasi-Newton(拟牛顿法)。最速下降法基于f(x)的一阶Taylor展式，由Cauchy于1847年给出，其中dk取f(x)的负梯度方向为搜索方向，即dk=?gk=??f(xk),其中记梯度向量为g(x)，gk=?f(xk).由于负梯度方向是目标函数值下降最快的方向，故得其名。最速下降法每次迭代的运算量不大，且具有全局收敛性。但是最速下降方向仅是算法的一个局部性质，对于诸多问题，虽然局部下降很快但整体下降得却极为缓慢。同时数值试验表明，当目标函数的等值线接近于一个圆球时，最速下降法下降较快；而当目标函数的等值线为一