支持向量机集成方法与研究.pdf

摘 要 摘 要 V.Vapnik 领导的 ATTbell 实验室研究小组从上世纪 60 年代开始就致力于有限样 本统计理论的研究，并将这一理论称为统计学习理论（Statistical Learning Theory, SLT）。 支持向量机（Support Vector Machine, SVM）是一种基于统计学习理论的模式识别方法， 它建立在 VC 维（Vapnik-Chervonenkis Dimension ）理论和结构风险最小化原理基础上， 在解决小样本、非线性及高维模式识别问题中表现出许多特有的优势，目前已在许多领 域得到了成功的应用。自 20 世纪 90 年代后，集成学习（Ensemble Learning ）逐渐成为 机器学习新的研究方向，集成学习是一种可以有效地提高机器学习泛化能力的多学习器 学习方法。选择性集成在较小的集成规模下，可以获得很好的泛化性能。选择性集成的 主要目标是保留部分差异性大的个体参与集成。目前，关于差异性的研究，主要集中在 两个方面，一是寻找合适的度量方法；二是如何利用此种方法提高集成学习的性能。 本文研究了基于支持向量机分类器的差异性度量和选择性集成学习方法。目前已有 的差异性研究主要是利用个体在验证集上的分类结果来度量，这些方法在一定程度上受 验证集的影响，差异性大往往预示着个体间的预测正确率差距也大，使得这些度量方法 在选择集成个体时不能充分发挥作用。由于支持向量机具有简洁的数学形式，因此可以 从判别函数出发寻找差异性。首先，针对支持向量机分类器，提出了一种基于支持向量 而非分类预测结果的差异性度量方法，并且采用聚类技术提高集成学习的差异性，通过 实验研究了此种方法的性能，并进一步研究了个体差异性与集成性能间的关系。在前面 研究的基础上，提出了一种基于子图的选择性分类器集成构造方法。通过使用支持向量 机作为基学习器，并在多个分类数据集上进行实验，表明此算法在一定程度上优于传统 的 AdaBoost 集成和目前已有的部分集成个体选择算法。最后，探讨了多类支持向量机 的差异性度量和选择性集成学习方法。 关键词 支持向量机 集成学习 选择性集成 差异性 I Abstract Abstract A team of researchers led by V.Vapnik at ATTbell laboratory, started the study of a small statistics from the sixties last century, and propounded Statistical Learning Theory (SLT). Support Vector Machine (SVM) is a new pattern recognition method developed in recent years based on SLT. SVM based on the principles of VC (Vapnik-Chervonenkis) dimension and structure risk minimization, and shows the advantages of capability in dealing with scared samples, nonlinear and high dimensions. SVM has successful application in text classification, image recognition and biological information processing. Since the nineties last century ensemble learning has become the focus of