解带线性或非线性约束最优化问题的三项记忆梯度Rosen投影算法要点.docVIP

解带线性或非线性约束最优化问题的三项记忆梯度Rosen投影算法 孙清滢 石油大学应用数学系，山东, 东营 257062 摘要 利用 Rosen 投影矩阵, 建立求解带线性或非线性不等式约束优化问题的三项记忆梯度Rosen投影下降算法，并证明了算法的收敛性. 同时给出了结合FR，PR，HS共轭梯度参数的三项记忆梯度Rosen投影算法，从而将经典的共轭梯度法推广用于求解约束规划问题. 数值例子表明算法是有效的. 关键词 非线性规划， Rosen投影，三项记忆梯度，收敛 分类号: AMS(1991) 49M07, 90C30 中图分类号: 0221.2 文献标识码: A 0 引言 Rosen 梯度投影法[1,2]是求解非线性最优化问题的基本方法之一，梯度投影算法与其它方法结合得到了许多有效算法，在最优化领域占有重要地位. 如陈广军在文[3]中，利用Rosen投影建立了解带线性或非线性约束最优化问题的计算量小，稳定的梯度投影算法，但收敛速度慢. 超记忆梯度算法是求解无约束规划的有效算法, 由于算法在迭代中较多地利用了已经得到的目标函数的某些信息，因而具有较快的收敛速度，大量的数值例子证明了这一点[5]. 赵庆贞[6]对超记忆梯度算法进行改进，在理论上证明了算法在一定条件下具有步超线性收敛速度. 若能将此法推广用于求解约束优化问题，可望改善现有梯度投影算法的收敛速度. 时贞军[7,8]对无约束规划提出了一种在Armijo步长搜索下较FR，PR共轭梯度法有效的超记忆梯度算法. 王宜举等[9]对一般闭凸集约束下的优化问题通过GLP投影建立了一族记忆梯度GLP投影算法. 受文[8,9]的启发, 本文利用 Rosen 投影矩阵，对求解无约束规划的三项记忆梯度算法中的参数给一条件确定参数的取值范围以保证得到目标函数的三项记忆梯度Rosen投影下降方向，从而建立求解带线性或非线性约束最优化问题的三项记忆梯度Rosen 投影算法，并证明算法的收敛性. 新算法保留梯度Rosen投影算法的优点，改进Rosen梯度投影算法的收敛速度. 数值例子表明算法是有效的. 1．问题、假设与算法 考虑问题（p）：,其中，设，当时，为线性函数；当时，为非线性函数. 再设，，记，， 对于指标集，表示J中指标的个数，并记 =, . 设M为问题（p）的K-T点集，对于，总假设条件（H）成立： （H）: . 引理 设，则S满足正则条件（H）的充要条件为对于S的任一有界子集, 存在使得 ，. 这里约定：当时，. 若有线性等式约束, 则不必作此约定. 设, 令，满足 ，其中. 令：；；其中，为阶单位矩阵，称为Rosen 投影矩阵. 引理 设，对于，若，,, 则为问题（p）之K-T点. 对问题（p）的非K-T点， 令： ， , 按下面条件选取参数: （1） (2)其中为参数. 条件（1）实质上给出了的一个取值范围，即： ， (3) , (4) , (5) 其中是和的夹角. 引理3 若为问题 (p) 的非K-T点, 满足 (3), (4) 和 (5), 则. 证明 当时， 结论显然成立. : 由的定义和的取法知 . (6) 由 及（6）知结论成立. 2. ：的定义和的取法知 . （7） 由 及（7）知结论成立. 在条件下，条件（2）实质给出了的一个取值范围，即： , (8) , (9) . (10) 其中是和的夹角. 引理4 若为问题 (p) 的非K-T点, 满足 (3), (4) 和 (5), 满足 (8), (9) 和 (10), 则. 证明 当时，. ：的定义和的取法知 . (11) 由 及（11）知结论成立. ：的定义和的取法知 . (12) 由 及（12）知结论成立. 引理5 若 为问题 (p) 的非K-T点, 满足 (3), (4) 和 (5), 满足 (8), (9) 和 (10), 则 . 证明 由及, 的定义易证. 求解带线性或非线性约束最优化问题的三项记忆梯度Rosen 投影算法（PTMG）： 设为二个连续函数且满足： , ，其