解奇异无约束优化问题的改进张量法-运筹学与控制论专业论文.docxVIP

万方数据 万方数据 Nanjing University of Aeronautics and Astronautics The Graduate School College of Science A modified tensor method for singular unconstrained optimization A Thesis in Operational Research and Cybernetics by Xiao Xiao Advised by Professor Ni Qin Submitted in Partial Fulfillment of the Requirements for the Degree of Master of Science January, 2014 承诺书 本人郑重声明：所呈交的学位论文，是本人在导师指导下，独立 进行研究工作所取得的成果。尽我所知，除文中已经注明引用的内容 外，本学位论文的研究成果不包含任何他人享有著作权的内容。对本 论文所涉及的研究工作做出贡献的其他个人和集体，均已在文中以明 确方式标明。 本人授权南京航空航天大学可以有权保留送交论文的复印件，允 许论文被查阅和借阅，可以将学位论文的全部或部分内容编入有关数 据库进行检索，可以采用影印、缩印或其他复制手段保存论文。 (保密的学位论文在解密后适用本承诺书) 作者签名： 日 期： 南京航空航天大学硕士学位论文 摘 要 张量方法是牛顿二次模型方法的推广，它是由 Schnabel 和 Frank 在 1984 年提出的。 这种方法扩充目标函数的 Taylor 展式到四阶项，弥补了牛顿模型在极小点处的 Hessian 矩 阵奇异时失去快速收敛性的缺陷，对 Hessian 矩阵奇异的问题有明显的优越性。 本文主要研究解奇异无约束优化问题的张量方法的算法和理论，建立了改进的张量模 型。与标准张量法相比，本文主要的改进是，用梯度和二阶导数的差来替代函数与梯度差来 构造张量模型，在此基础上提出了改进的张量法，给出了数值比较结果。 本文共有四章。第一章介绍了求解无约束优化的张量法的起源及研究进展。第二章介 绍了本文需要的一些基础知识，包括牛顿法、张量法、线搜索法的理论知识和算法。第三章 首先介绍了改进张量模型的构造过程，接着给出了对应于改进张量模型的求解无约束奇异问 题的算法并证明了算法的收敛性。第四章对原张量模型的算法和改进张量模型的算法的数值 结果进行了比较与分析。最后，给出了结论及今后的研究趋向。 关键词：无约束最优化，奇异问题，改进的张量模型，线搜索法 i 解奇异无约束优化问题的改进张量法 Abstract The tensor method, which is a generalization of the standard Newton model, was proposed by Schnabel and Frank in 1984. This method uses the four-order term of the Taylor expansion, fix up the weakness that the Newton model will lose the fast local convergence rate when the Hessian is singular at the minimizer, and show the advantages that it can solve the singular problem. In the thesis we mainly discuss the algorithms and theory of tensor methods which can solve the singular unconstrained optimization problems. Rather than with the difference of functions and gradients, the modified tensor model is constructed with the difference of gradients and Hessian. The modified tensor method is proposed, and the numerical results are reported. The structure of this paper is organized as follows. The first chapter describes the origins and progress in research o