一类修正的Perry共轭梯度法及其全局收敛性..docVIP

一类修正的Perry共轭梯度法及其全局收敛性 摘要 本文提出了一种包含了Perry共轭梯度法的修正形式的新共轭梯度法. 该方法确保了在精确线搜索下的充分下降的独立性. 本文所提方法的一个重要性质就是，通过使用一个新的正割条件，在逼近目标函数的二阶曲率信息时具有高阶准确性. 此外，我们所给的方法对于满足Wolfe线搜索条件的一般函数具有全局收敛性. 我们的数值实验表明，就效率和鲁棒性而言，所提方法总体上比经典的共轭梯度法更具适用性. 关键词：无约束优化；共轭梯度法；充分下降性；混合割线方程；全局收敛性 1 引言 考虑一个无约束优化问题 (1) 其中是上的一个光滑的线性函数，其梯度记为. 求解问题（1），共轭梯度法在效率上是一个很好的选择，尤其是共轭梯度法对于大规模问题有低存储和收敛性的特点. 一般而言，一个非线性共轭梯度法从初始点开始，产生一组点列，使用如下的迭代格式 （2） 其中是（1）式解的第步逼近；是由某个特定的非线性搜索得到的步长；是搜索方向，定义如下 （3） 且是标量. 在所参阅的文献中已经提出过几类，并由此而产生具有相当高计算效率与收敛性质特特点的共轭梯度法.经典的公式包括HS，FR以及PRP.本文中，我们重点是Perry法，其参数是 （4） 其中,.该种共轭梯度法基于的是拟牛顿法的思想，在关于无约束优化问题的文章中，已被公认为是最有效的方法之一. 在过去的十几年里，专家学者们都致力于有高计算效能和强收敛性特性的新共轭梯度法的发展. 特别是，诸多研究人员基于割线方程提出新的共轭梯度法，其在逼近二阶曲率信息时具有高度准确性.在合适的条件下，这些方法都是具有全局收敛性的，且有时候数值实验的效果比经典的共轭梯度法还要好. 但是，这些方法并没有满足充分下降条件. 因此，在他们的分析和应用中开始新的研究以得到保证收敛性的新算法. 袁亚湘和戴彧虹等考虑了提出了一不同的方法提高共轭梯度法的数值实验效能. 他们所提出的共轭梯度法在Wolfe线搜索条件下产生了新的下降方向. 基于这个想法，Zhang等人考虑去修正按如下方式修正搜索方向： （5） 如此就满足充分下降条件.他们的方法所具有的比较吸引人的一个性质就是满足了，独立地线搜索和的选择.此外，（5）式中的由其他已有的共轭梯度法公式所确定，我们就可以得到相关修正的共轭梯度法，参见文献[16,17,19,31,44-46]. 近来，研究人员特别关注杂合上述两种方法以得到拥有良好数值实验效果和强收敛性的方法. 进一步分析，已提出的新共轭梯度法包含了产生下降方向，避免由此而来的常见的低效重启这些好的特质. 这些方法已经表现出全局收敛性以及理论上比经典方法更具优势，通过新修正的割线方程在逼近最小函数的曲率中展现出了更高精确度. 作者展现了一些数值结果来说明他们所提方法的计算效能与鲁棒性. 沿着这个方向，我们提出一种新的共轭梯度法，该方法保证了充分下降性与线搜索独立精确性. 通过使用一新的混合割线条件，我们所提出的方法在逼近目标函数的二阶曲率信息上表现出更高的精确度. 而且，在Wolfe线搜索条件下的全局收敛性也得到保证. 我们的实验结果也证明了所提方法的计算效能和鲁棒性. 本文以下部分的内容这样安排：第二节，给出我们的目标和所提共轭梯度法. 第三节，给出全局收敛性分析. 第四节，使用文献[18]中性能选项陈列数值实验. 第五节. 给出我们的总结性结论. 2 修正的perry共轭梯度法 在本节，我们再次说明，对于拟牛顿法，Hessian的近似矩阵是变化着的，所以一个新的矩阵满足如下割线条件 , （6） 在现有的迭代中，标准的割线方程（6）只使用了可得到的梯度信息并且忽视了函数值. Zhang等人以及Xu扩展了割线方程（6），得到了一个修正的割线条件，即在两个连续点处既包含梯度也包含函数值，具体如下 （7） 其中 （8） 且是一个满足的向量参数. 注意到为了让目标函数是二次的，其应当