解无约束最优化的基于锥模型的过滤集- 信赖域方法.pdf

中国科学: 数学 2012 年 第42 卷 第5 期: 527 543 解无约束最优化的基于锥模型的过滤集 信赖域 方法 ∗ 孙文瑜 徐东 南京师范大学数学科学学院, 南京 210046; 江苏省大规模复杂系统数值模拟重点实验室, 南京 210046 E-mail: wysun@njnu.edu.cn 收稿日期: 2012-02-21; 接受日期: 2012-03-19; * 通信作者 国家自然科学基金(批准号: 和教育部博士点基金 (批准号: 20103207110002) 资助项目 摘要 锥模型优化方法是一类非二次模型优化方法, 它在每次迭代中比标准的二次模型方法含有更丰 富的插值信息. Di 和Sun (1996) 提出了解无约束优化问题的锥模型信赖域方法. 本文根据Fletcher 和 Leyffer (2002) 的过滤集技术的思想, 在Di 和Sun (1996) 工作的基础上, 提出了解无约束优化问题的 基于锥模型的过滤集信赖域算法. 在适当的条件下, 我们证明了新算法的收敛性. 有限的数值试验结 果表明新算法是有效的. 关键词 无约束优化 锥模型 信赖域方法 过滤集方法 收敛性 主题分类 65K05, 90C30 引言 本文考虑解无约束优化问题 min f (x), (1.1) ∈ 其中f : → 是连续可微函数. 解最优化问题 (1.1) 的数值方法通常基于目标函数的二次模型 1 q (d) = f (x ) + gd + dB d, (1.2) 2 其中, g = ∇f (x ), B = ∇ f (x ) 或者是Hesse 矩阵∇ f (x ) 的近似. 采用二次函数模型的优化方法 是普遍的, 这是因为二次函数模型简单, 容易求解, 且在极小点x∗ 附近一般函数可以用一组共心椭球 曲面来逼近. 但是, 如果目标函数的非二次性态很强, 曲率变化剧烈, 则二次模型逼近的效果就差. 另外, 二次模型并没有充分利用迭代过程中前几次迭代中产生的函数值信息, 而数值试验表明这些信息对改 善算法的性态是非常有用的. 因此, 研究能够包含迭代过程中产生的更多插值信息, 产生广义Nowton 方程或广义拟Nowton 方程, 并结合现代优化技术来构造新型非二次模型优化算法是优化界的新课题 之一. 在非二次模型最优化方法中, 常用的有锥模型优化方法 , 一般有理模型优化方法 , 齐次函数 模型优化方法 , 张量模型优化方法 , 三次函数模型优化方法 等等. 本文讨论锥模型类优 化方法. 英文引用格式 孙文瑜等: 解无约束最优化的基于锥模型的过滤集- 信赖域方法 1980 年, Davidon 提出了共线调比和锥模型优化算法, 这种模型能够包含迭代过程中产生的较 丰富的插值信息, 能够产生广义Nowton (拟Nowton) 方程, 是满足要求的有效的非二次模型优化方法 之一. 一个典型的无约束优化的锥模型函数为