基于最小二乘修正的混合HS和DY共轭梯度法 .pdfVIP

基于最小二乘修正的混合HS和DY共轭梯度法

陈贞晶

【期刊名称】《《重庆科技学院学报（自然科学版）》》

【年(卷),期】2019(021)005

【总页数】6页(P44-49)

【关键词】共轭梯度法;Wolfe线搜索;最小二乘法;一致凸函数;全局收敛

【作者】陈贞晶

【作者单位】重庆师范大学数学科学学院重庆401331

【正文语种】中文

【中图分类】O224

共轭梯度法是求解大规模无约束优化问题的最有效的方法之一，具有所需存储量小、

强收敛性和计算方便等优点。比如考虑无约束优化问题minf(x),x∈Rn，共轭梯度

法的一般迭代格式为：

xk+1=xk+αkdk

(1)

d0=-g0,dk+1=-gk+1+βkdk

(2)

其中：αk是通过某种线搜索获得的步长，αk0；dk+1是搜索方向；g(x)是目标

函数f(x)的梯度，gk+1=▽f(xk+1)；βk是共轭梯度参数，简称CG参数。不同的

βk值，对应不同的共轭梯度方法。

常用的线搜索有很多，我们在这里只考虑Wolfe线搜索：

f(xk+αkdk)-f(xk)≤δαk▽f(xk)Tdk

(3)

▽f(xk+αkdk)Tdk≥σ▽f(xk)Tdk

(4)

其中，0δσ1。

Hestenes-Stiefel(简称“HS”)方法和Dai-Yuan(简称“DY”)方法都是经典的共

轭梯度方法，其参数[1]如下：

其中：是欧几里得范数；yk-1=gk-gk-1。

HS方法在非精确线搜索下不能保证收敛性，可能无限循环，且不趋近于任何一个

解点，但数值计算效果较好。DY方法具有强收敛性，但由于在计算时会受干扰现

象的影响，计算效果不佳[2]。

1HCG方法的修正

1.1HCG方法

2008年，NeculaiAndrei基于拟牛顿方向满足割线条件，提出了混合的HS和

DY方法[2]，简称HCG方法。其CG参数如下：

其中

割线方程为Bk+1sk=yk。

HCG方法的计算效果不是很好，不如经典的HS方法。

1.2ZZL方法

2015年，SamanBabaie-Kafaki和RezaGhanbari[2]基于HCG方法，采用最

小二乘思想，将HCG方法的搜索方向逼近三项共轭梯度法方向[3]之间，极小化后，

获得混合参数θk新的取值，即

(5)

其中，三项共轭方向如下所示：

(6)

HCG方法的搜索方向和CG参数如下：

∀k≥0

(7)

(8)

对CG参数进行非负限制，得

这个方法简称HCG+方法。HCG+方法在Wolfe线搜索下全局收敛，计算时间上

优于HS和DY方法。

1.3EZZL方法

为了减少计算时间，我们采用文献[2]中的最小二乘思想，将ZZL方法替换成带有

参数tk的EZZL方法[4]，即

(9)

所以

(10)

其中

∀k≥0

(11)

tk是一个混合参数。通过对ZZL方法的搜索方向矩阵进行特征值分析，可得参数

tk的取值。

tk=

η∈(0,1]

(12)

该扩展的搜索方向，在不依赖任何线搜索和目标函数的凸性下，满足充分下降条件。

EZZL方法对一致凸函数全局收敛，且计算上优于ZZL方法。其中，η=0.96。

1.4HCGQN方法

2018年，Babaie-Kafaki和Ghanbari基于HS方法和无记忆BFGS方法的线性

组合，提出了一个新的混合的方法[5]，简称HCGQN方法。其中，无记忆BFGS

校正形式为：

其搜索方向如下：

(13)

当目标函数是一致凸函数时，满足充分下降条件。

对上述的搜索方向引入一个基于最小二乘技巧求解的混合参数θk，则式(13)可以

写成如下形式：

其中

通过求解下列最小二乘问题，获得混合参数θk。

(14)

因此，又因为θk∈[0,1]，所以此外，考虑到Powell提出的共轭梯度参数的非负

限制在数值计算方面的有效性，对MLBFGS的搜索方向作如下修改：

(15)

其中，ξ是一个很小的正数。在数值计算上，HCGQN方法胜过HS和ZZL方法，

ξ=10-7。

1.5MHCG方法

为了减少计算所用的时间，利用文献[2]中采用HCG方法逼近一个充分下