孪生支持向量机的多分类方法研究.docVIP

孪生支持向量机的多分类方法研究 摘 要：分类技术是信息社会的一项重要技术，可以对一些杂乱的数据进行判断和归类，并发掘其内在价值。计算机代替人工进行数据分析和分类可以发现一些潜在的规律，并且能以相对快的速度处理更多数据。支持向量机(Support Vector Machine, SVM)是一种常用的两分类器，孪生支持向量机(Twin Support Vector Machine, TWSVM)是其优秀的一种改进版本，也只能处理两分类问题。由于现实分类问题大多是多类的，所以将TWSVM扩展至解决多类分类问题是十分必要的。 本文以TWSVM为研究对象，分析TWSVM算法以及现有的基于TWSVM的多分类算法，对比这些算法的优缺点，并提出了一种TWSVM的多分类方法基于核聚类决策树的多分类TWSVM(Decision Tree Twin Support Vector Machine Based on Kernel Clustering, DT2SVM-KC)。DT2SVM-KC运用核聚类算法来生成决策树，在非叶子结点上训练TWSVM来得到一对用于划分的非平行超平面。实验结果表明，本文提出的方法有着比其它基于TWSVM的多类分类算法更好的性能。 关键词：孪生支持向量机;决策树;多类分类;核方法;支持向量机 前 言 支持向量机(Support Vector Machine, SVM)[1]是Vapnik等人在1995年提出的基于统计学习理论的机器学习方法，其为数据分类提供了一种全局方法，减少了训练过程中风险的发生并提高了算法的泛化能力。SVM可以作用于线性可分数据集，也可以通过核函数将线性不可分的数据集映射到高维特征空间再决定划分超平面。但是，SVM的一个主要问题是要求解一个复杂的二次规划问题(quadratic programming problem, QPP)。Mangasarian等人在2006年提出了广义特征值近似支持向量机(Generalized Eigenvalues Proximal Support Vector Machine, GEPSVM)[2]，通过两个互不平行的超平面进行分类，其中要求每个超平面尽可能接近一个数据集而远离另一个数据集。 在SVM和GEPSVM的基础上，Jayadeva等人提出了一个新的两分类器孪生支持向量机(Twin Support Vector Machine, TWSVM)[3]。TWSVM也是通过两个非平行超平面来进行模式分类，可以用于分类和回归。但是TWSVM的目标函数与GEPSVM完全不同，更加像传统SVM。与传统SVM的区别在于，TWSVM用求解两个小规模QPPs取代求解一个大规模QPP，使得其计算速度快于传统SVM。因此TWSVM能够高效地分类大数据集，可以应用在模式分类、语音识别、疾病检测、文本分类、图像降噪等多个领域。 对于TWSVM的研究可以比较宽泛地划分为两个方面[4]，一是基于TWSVM的变种，二是基于TWSVM解决多类分类问题。 本文主要以TWSVM为研究对象，分析现有的各种多分类TWSVM算法，对比各种算法的优缺点。在深入分析TWSVM的基础上，提出了一种将TWSVM扩展至多分类的方法，并就该方法进行了实验验证和对比分析。本文完成的主要工作及创新点如下： (1)利用核聚类算法构造二分决策树，将TWSVM扩展至解决多分类问题。 (2)分析了惩罚参数对TWSVM及相关扩展算法的影响，并基于此选择合适的惩罚参数。 (3)在UCI(University of California, Irvine)数据集和MNIST(Modified National Institute of Standards and Technology)数据集上对本文所提出的多分类方法进行了验证，并将该方法与现有多分类TWSVM方法对比。 第一章 绪 论 本章首先介绍了TWSVM相关算法的研究背景和意义，其次概述了本文所做的主要工作以及本文的创新点，最后介绍了本论文的组织结构。 1.1 研究背景及意义 支持向量机(Support Vector Machine, SVM)[1]是Vapnik等人在1995年提出的基于统计学习理论的机器学习方法。SVM为数据分类提供了一种全局方法，通过生成一个全局超平面来将样本点划分到不同的类别，而不是像其它一些数据分类方法使用局部界限来划分。由于SVM遵循局部风险最小化原则，减少了训练过程中风险的发生并提高了算法的泛化能力。SVM是一种强大的模式分类和回归算法，可以作用于线性可分数据集，也可以通过核函数将线性不可分的数据集映射到高维特征空间再决定划分超平面。但