若干改进支持向量分类机.pdfVIP

摘 要 支持向量机（SVM ）是九十年代中期发展起来的新的机器学习技术，与传统的 神经网络（NN ）技术不同，NN 是以传统统计学习理论为基础，SVM 是以现代统计 学习理论（SLT）为基础。传统统计学的前提是要有足够多的样本，它为机器学习问 题建立了一个很好的理论框架；现代统计学习理论是一种小样本理论，具有更强的 实用性。实践表明，建立在 SLT 之上的支持向量机不仅结构简单，而且技术性能尤 其是推广能力明显提高，能够很好地解决现实中大量的小样本学习问题，而利用核 函数又能将线性方法推广至对非线性情形。目前，SVM 已成为国际上机器学习领域 新的研究热点。 本文提出了若干算法对支持向量机（SVM）加以改进。主要工作包括以下四个 方面：一是对支持向量机理论基础? ? 学习问题进行了简介，尤其是对Vapnik 等人 的统计学习理论（SLT ）结合分类学习问题作了比较系统的阐述；二是对模式分类中 的近似线性可分问题提出了一种新的近似线性支持向量机（SVM），并从理论和实证 分析两个方面将该方法与线性可分SVM 及已有的近似线性可分SVM 进行了对比分 析，说明了该方法的优越性与合理性；三是对非均衡数目样本，通过增大或压缩两 类点所在的凸壳，使两个凸壳刚好相切，把与变化后的两个凸壳都相切的公切平面 取为训练集的分划超平面；四是对一种非向量核? ? 基于分布族的Bhattacharyya 核函 数，用贝叶斯方法对其中的参数重新进行了估计，并与原有的估计进行了比较。 关键词：模式分类；分划超平面；分划超曲面；凸壳；支持向量机；核函数； 相似压缩；相似放大 I Abstract Support Vector Machine or SVM is a new machine learning technique developed from the middle of 1990s. Being different from traditional Neural Network or NN, NN is based on mordern statistics theory, which provides conclusion only for the situation where sample size is tending to infinity, while SVM is based on mordern Statistical Learning Theory or SLT, which is a small- sample statistics and concerns mainly the statistics principles when sample are limited, especially the properties of learning procedure. SLT provides us a new framework for the general learning problem. A large number of experiments have shown that SVM has not only simple structure, but also better performances, especially better generalization ability. SVM can also solve small-sample learning problem better, and through kernel function we can transfer a nonlinear problem to a linear problem. Currently, SVM is becoming a new hot area in