界约束优化问题的有效集方法研究运筹学与控制论专业论文.docxVIP

山东科技大学硕士学位论文摘要 山东科技大学硕士学位论文 摘要 摘 要 非线性界约束优化问题是约束仅包含变量上下界约束的一种特殊非线性优化问题， 在工程与科学计算中具有广泛的应用。本文主要研究求解界约束优化问题的有效集方法 及其在求解支持向量机分类问题中的应用。论文共分四部分，具体内容如下： 首先，在第一章中，简单介绍了最优化问题的一般模型与相关概念，并对非线性界 约束优化问题的应用背景及研究现状进行了阐述，从而引出本文的主要工作。 第二章，简要叙述了有效集方法的基本思想，并对近几年来提出的求解界约束优化 问题的有效集方法，如投影共轭梯度法和有效集识别函数法等进行了归纳总结，讨论了 各自算法的优点和不足。 第三章，对于带线性等式约束的界约束优化问题，运用零空间法，将原问题转化为 与之等价的只带线性不等式约束的优化问题。再用 Marina Andretta 等提出的部分谱投影 梯度法求解转化后的问题，得到的解即为原问题的最优解。该方法将原问题中的等式约 束去除掉，使问题转变为只含线性不等式约束的优化问题，简化了问题的约束形式，并 降低了问题的维数。在适当假设下，算法全局收敛，并且在有限次迭代后终止于一个一 阶稳定点。此外，成功的将该方法应用于标准支持向量机问题的求解，给出了相应的算 法。 最后，总结了本文的主要工作，并提出了今后的研究方向。 关键词：界约束优化，有效集，线性等式约束，零空间，共轭梯度法，谱投影梯度 ABSTRACT Bound constrained nonlinear optimization problem is a specia l kind of nonlinear optimization problems only with upper and lower bounds on the variables. It appears in a wide range of applica tions such as engineer ing and scientific computing. In this paper, the active set met hods for bound constrained optimization problems and their applica tions for support vector machine classification are studied. The paper is divided into four parts and the details are as follows: First, in chapter 1, the genera l model and related concepts of optimization problems are introduced briefly. The practica l applica tions and research status of bound constrained nonlinear optimization problems are presented which lead to the ma in results of the paper. In chapter 2, the basic idea of active set met hods is introduced. And the active set met hods for bound constrained optimization problems proposed in recent years are summa rized, including the projected conjugate gradient met hods and the active set identifica tion funct ion met hods. The advantages and disad vantages of these met hods are analyzed. In chapter 3, a new method for bound constrained problems with linear equality constraints is proposed. It transforms the origina l problem into an equiva lent linear ineq uality constrained problem utilizing the null-space met hod, and then, uses the partial spectral proje