最优化课程设计--牛顿法与阻尼牛顿法算法分析.doc

摘 要 本文基于阻尼牛顿法在解决无约束最优化问题中的重要性，对其原理与算法予以讨论。论文主要是参阅大量数学分析和最优化理论方法，还有最优化方法课程以及一些学术资料，结合自己在平时学习中掌握的知识，并在指导老师的建议下，拓展叙述牛顿法和其改进方法——阻尼牛顿法的优缺点，同时针对阻尼牛顿法的基本思路和原理进行研究，其搜索方向为负梯度方向，改善了牛顿法的缺点，保证了下降方向。 关键词：Abstract This thesis is based on the importance of the damping Newtons method to solve unconstrained optimization problems, we give the discussion about its principles and algorithms. We search a large number of mathematical analysis and optimization theory methods, optimization methods courses, as well as some academic information ,and at the same time combined with knowledge we have learning in peacetime and thanks to the instructors advice, we also give an expanding narrative for the Newtons method and the improved method -- damping Newton methods advantages and disadvantages, and make a study of the basic ideas and principles for damping Newton method at the same time , we find that a negative gradient direction is for the search direction of the damping Newton method, this method improves the shortcomings of the Newton method which can ensure the descent direction. Keywords: unconstrained , Newtons method , descent direction , damping Newtons method ,optimal solution 目录 引言——————————————————————————4 2. 基本原理 2.1无约束问题的最优性条件——————————————5 2.2牛顿法牛顿法牛顿法牛顿法牛顿法对目标函数严格基本原理 2.1、无约束问题的最优性条件 无约束问题的最优解所要满足的必要条件和充分条件是我们设计算法的依据，为此我们有以下几个定理。 定理1：设f:Rn→R1在点X*∈Rn处可微。若存在p∈Rn，使???(??*)?? p 0,则向量p是f在点X*的下降方向。 定理2：设设f:Rn→R1在点X*∈Rn处可微。若X*是无约束问题的局部最优解，则???(??*) =0。 由上课所学知识我们知道，使?f(x)=0的点x为函数f的平稳点。函数f的稳定点。函数f的一个稳定点可以是极小点，也可以是极大点，甚至两者都不是。若是最后一种情况，则成它为函数f的鞍点。以上定理告诉我们，X*是无约束问题的局部最优解的必要条件是：X*是目标函数f的稳定点。现给出无约束问题局部最优解的充分条件。 定理3：设f:Rn→R1在点X*∈Rn处的Hesse阵?2??((??*)存在可微。若???(??*) =0，并且?2??((??*)正定，则X*是无约束问题的严格局部最优解。 一般而言，无约束问题的目标函数的稳定点不一定是无约束问题的最优解。但对于其目标函数是凸函数的无约束凸规划，下面定理证明了，它的目标函数的稳定点就是它的整体最优解。 定理4：设f:Rn→R1，X*∈Rn，f是Rn上的可微凸函数。若有???(??*) =0，则X*无约束问题的整体最优解。 2.2．牛顿法牛顿法的基本原理是：原目标函数用在迭代点邻域展开的泰勒二次多项式(去近似的代替，再以(这个二次函数的极小点作为原目标函数的下一个迭代点，这样重复迭代若干次后，使迭代点点列逐步逼近原目标函数的极小点。二次逼近函数(可写为： (1）式中，，分别为