无约束最优化题牛顿型算法的多少研究.pdfVIP

中文摘要 牛顿法是求解无约束最优化问题最古老的算法之一，到目前为止它的改进形式仍然 是最有效的算法之一。对一般目标函数极小化问题，本文提出一类新的修正阻尼牛顿法， 并证明了对一般的非凸目标函数，该算法是全局收敛的。拟牛顿算法是求解非线性无约 束优化问题的最有效、理论上也是最成熟的算法之一。我们知道，在传统的DFP算法中， 的正定性。本文对DFP算法提出新的校正公式，它对保持日。的正定性有很好的效果， 并结合精确线搜索证明了该算法的全局收敛性。在拟牛顿算法中，拟牛顿校正公式起着 至关重要的作用。最初的拟牛顿校正公式仅仅利用了目标函数的一阶导数，而忽略了可 利用的目标函数值。为了利用更多的可利用的信息，很多人对拟牛顿校正公式进行了研 究一般非凸目标函数极小化问题，并证明了该算法的全局收敛性。 关键词：牛顿型算法，收敛性，数值实验 中文文摘 非线性规划的最优化理论与算法是一门新兴的学科，它是在电子计算机出现以后， 由于大量的社会实践的需要而迅速发展起来的。它是一门在复杂的实际环境中遇到的许 多可能的决策中挑选最佳决策的科学，因而在许多方面均有广泛应用。非线性规划的最 优化理论与算法主要包括一些传统的理论与算法，如无约束和带约束优化问题的最优性 条件，无约束优化问题的下降算法、牛顿法、共轭梯度法、拟牛顿算法等。【1l 牛顿法是求解无约束最优化问题最古老的算法之一，但目前为止它的改进形式仍不 失为最有效的算法之一。修正牛顿法是对目标函数的Hessi觚矩阵进行修正。本文提出 一类新的修正阻尼牛顿法如下： 向，A(‘)=一Gflg(¨，于是介‘)79(‘)=一∥)’G七A(‘)0，此时A(‘)为下降方向． Z)当G。不正定但非奇异，且牛顿方向舻’使得办‘’19‘‘’0时，一A‘‘’便为下降方向， 此时改取∥)=Gflg‘n． 3)如果∥’19‘。’=O，或者Gt奇异，此时采用负梯方向，即取A‘‘’一g‘¨． 得到此修正算法的全局收敛性质如下： 定理1：如果目标函数，@)二阶连续可微有下界，此修正阻尼牛顿算法满足铀瓯时有 界且仇的条件数有界时，那么!哑g‘‘’=o． 。 此修正阻尼牛顿算法能保证目标函数Hessian矩阵的正定性，并证明了对一般的非 凸目标函数，该算法是全局收敛的。 拟牛顿算法是求解非线性无约束优化问题的最有效、理论上也是最成熟的算法之 性需要较强的条件，本文对DFP算法提出新的校正公式为 。， 。，． ∥∥。 日々，7‘％‘叫日I 也r也+磊南砖市一帮‘ 此DFP算法有如下性质包括其全局收敛性： 定理1：设Ht正定，则日M正定的充分必要条件是亭‘‘’。，7‘‘’≠O． 假设l 1)，：R4_．R二阶连续可微． 2)目标函数，O)满足，存在胁，MO，对任意石∈￡@‘o’)． z∈尺“． 聊俐2≤zTG@弦≤M㈣2，V 定理2：设目标函数，@)满足假设l，则精确线搜索步长规则下的DFP方法产生的 点列缸‘‘’)收敛到极小点x’． 最初的拟牛顿校正公式仅仅利用了目标函数的一阶导数，而忽略了可利用的目标函 数值。为了利用更多的可利用的信息，很多人对拟牛顿校正公式进行了研究，取得很好 的进展。本文研究一般非凸目标函数的极小问题的拟牛顿算法及其收敛性．，对无约束优 化问题提出一类改进的BFGS算法，校正公式为 ％·小筹警+器矿V川， 其中“t(p)一ps印皓‘‘)7，7(‘’)亭‘‘)1，7(‘’+2(1一ppI，其中K一^+1一^一g(‘)7宇‘七1， 即∈【O，1】． 此算法有如下性质包括其全局收敛性： 定理l：设反正定，则此校正公式使B+，保持正定． 假设l：设目标函数，O)在尺“上是二阶连续可微函数且有下界，其水平集 上@徊’)=缸|，O)s，O们’))有界． 定理2：在假设1下，本文中改进的BFGS拟牛顿算法或者对某个七有g‘‘’=O，或者有