若干求解大规模问题支持向量机算法.docx

分类号：0221.2密级：公 开U D C：单位代码：10424学位论文若干求解大规模问题的支持向量机算法李 华申请学位级别：硕士学位专业名称: 基础数学指导教师姓名：贺 国 平职称: 教授山东科技大学二零零八年五月山东科技大学硕士学位论文论文题目：若干求解大规模问题的支持向量机算法摘要作者姓名：李华入学时间： 2005 年 9 月专业名称：基础数学研究方向： 计算机科学中的数学指导教师：贺 国 平职称： 教授论文提交日期：2008 年 5 月论文答辩日期：2008 年 6 月授予学位日期：山东科技大学硕士学位论文摘要SOME ALGORITHMS OF SUPPORT VECTORMACHINE TO SOLVE LARGE-SCALE PROBLEMSA Dissertation submitted in fulfillment of the requirements of the degree ofMASTER OF SCIENCEfromShandong University of Science and TechnologybyLi huaSupervisor: Professor He GuopingCollege of information science and engineeringMay 2008山东科技大学硕士学位论文声明摘要本人呈交给山东科技大学的这篇硕士学位论文，除了所列参考文献和世所公认的文献外，全部是本人在导师指导下的研究成果。该论文资料尚没有呈交于其它任何学术机关作鉴定。硕士生签名：日期：AFFIRMATIONI declare that this dissertation, submitted in fulfillment of therequirements for the award of Master of Science in Shandong University ofScienceandTechnology,iswhollymyownworkunlessreferencedofacknowledge. The document has not been submitted for qualification at anyother academic institute.Signature:Date:山东科技大学硕士学位论文摘要摘要支持向量机(SVM)是在统计学习理论上的基础上发展起来的新一代学习算法，Vapnik在 1992 年将其介绍进入机器学习领域之后受到了广泛的关注。SVM 在 20 世纪 90 年代中后期得到了全面深入的发展，现在成为机器学习和数据挖掘领域的标准技术。它集成了最大间隔超平面、Mercer 核、凸二次规划、稀疏解和松弛变量等多项技术。本文在介绍支持向量机基本算法及其变形的基础上，主要研究求解大规模问题的两种方法：一种是支持向量聚类技术，另一种是拉格朗日减量学习算法。支持向量聚类技术(SVC)主要有三个步骤：先通过解一个优化问题的对偶问题来找出一个最小超平面；其次通过给所有点加以分配以确认该点所在的类；最后需对参数进行调整。第一步对偶问题的规模就是输入数据的规模，它往往是整个运算的瓶颈，但问题的解仅仅依赖于输入空间的支持向量，其他的输入对结果没有任何影响却大幅度的增加了聚类的复杂性。本文基于 R *??tree 数据结构做出数据预处理，避免所有的样本都参与训练，缩小样本空间，从而大大提高训练速度。本文对拉格朗日支持向量机(LSVM)减量算法求逆循环做出改进，利用上一矩阵求逆的结果对矩阵变换，根据原算法矩阵特性避免直接求逆而直接算得下一矩阵的逆，将这种方法在 LSVM 加以实现，通过数值实验得到比原算法更优秀的结果。关键词：支持向量聚类 R *??tree 数据预处理 减量学习 矩阵逆替换山东科技大学硕士学位论文摘要AbstractsSupport Vector Machine (SVM) is a new generation of learning algorithmdeveloped on the basis of the statistical learning theory. In 1992 Vapnikintroduce it into the fields of machine learning. It got comprehensive attentionafter that. In the late 1990s SVM have been comprehensive and in-depthdevelopment. Now it becomes the standard technology in the fields of machinele