两类下降的非线性共轭梯度法的全局收敛性 毕业论文外文翻译.docVIP

附录Ⅰ 中文译文 两类下降的非线性共轭梯度法的全局收敛性 王开荣，刘金魁 (重庆大学数理学院信息与计算科学系，重庆，400030) 摘要：本文基于文献[1]中提出的一类共轭梯度法，提出了两类新的非线性下降共轭梯度法。此两类算法能始终保持充分下降性，这一性质与算法所采用的线性搜索无关；对于一般的非凸函数，此两类算法在Wolfe线搜索条件下具有全局收敛性。 关键词：无约束最优化；共轭梯度法；充分下降性；Wolfe线搜索；全局收敛性 中图分类号：O224 AMS(2000)文章类别：65H10；9OC26 文献标识码：A 文章编号：1001—9847(2008)04-0656-05 本文的目的是在非精确线搜索下研究无约束优化问题的两类新的非线性下降共轭梯度法的全局收敛性。 考虑无约束优化问题 ， （1） 其中 连续可微且梯度为。 共轭梯度法求解（1）式的迭代公式： 　 （2） （3） 其中, 是搜索步长，是搜索方向，是一参数。参数的不同形式分别构成了FR，PRP共轭梯度法，它们分别为： 其中是欧几里得范数。 共轭梯度法的收敛性证明，通常使用非精确线搜索，如Wolfe线搜索和强Wolfe线搜索。Wolfe线搜索要求满足： ， （4） ， （5） 其中。 强Wolfe线搜索要求满足（4）式和 ， （6） 其中。 本文中提出了两类新的共轭梯度法，并用Wolfe线搜索证明了新方法的全局收敛性。 于高航、赵艳林、魏增鑫提出了一种新的非线性共轭梯度公式 其中（在本文中，我们把与有关的方法称为NCG法）。在Wolfe线搜索下证明了NCG算法具有全局收敛性。基于公式，本文提出了两类新的下降共轭梯度法： （7） （8） 其中。为下降方向如果满足 ， ， （9） 其中是正常数，（9）式表明共轭梯度法的全局收敛性。大多数文献证明了（9）式成立。 定理 1 根据（2）式和（3）式，若，满足非精确线搜索，则对于任意的 （10） 证明 若或，对于，由（3）式得 否则，由（3）式和得 由可知对于任意的，（9）式成立。 定理 2 根据（2）式和（3）式，若，满足非精确线搜索，则对于任意的 （11） 证明 采用数学归纳法证明 因为且，所以当时，结论成立。 假设当 （，）时，结论成立。只需证明时，结论仍成立。 若对于，或，则由（3）式得 否则，由（3）式、和得 鲍威尔定理证明了。基于充分下降的条件，Gilbert和NocedalWolfe线搜索下证明了修正的PRP方法：具有全局收敛性，在新的公式中，同样证明了任一条件下。由的定义得 由的定义和（11）式得 为了证明新方法的全局收敛性，目标函数满足以下假设： 假设（H） ⅰ）是有界集合，是初始点。 ⅱ）是的子集，连续可微且其梯度满足Lipchitz连续，即，存在常数使得 ， （12） 由假设（H）可知，存在常数使得 ， （13） 用来证明非线性共轭梯度法全局收敛的引理最初是由Zoutendijk给出，通常被称为Zoutendijk条件。 引理 1 假设（H）成立，在迭代公式（2）和（3）中满足，，满足Wolfe线搜索，则