基于分段核函数支持向量机及其应用.docVIP

基于分段核函数支持向量机及其应用 　　摘 要： 支持向量机兼顾训练误差和推广性能，已受到机器学习领域的高度重视，而核函数的性能是支持向量机研究中的关键问题。研究了几种常见核函数对支持向量机推广性能的影响，并利用全局核函数和局部核函数的性质，提出了一种新的分段核函数的支持向量机。数据集上的仿真结果表明，该核函数对应的支持向量机泛化能力优于传统核函数对应的支持向量机，具有较好的预测性能。 　　关键词： 支持向量机； 分段核函数； 全局核； 局部核 　　中图分类号： TN911?34 文献标识码： A 文章编号： 1004?373X（2013）16?0005?04 　　支持向量机（SVM）是一种以统计学习理论为基础的优化算法，对于未知测试数据具有良好的推广性能，它在文本分类、车牌识别、身份验证、生物科学等领域已经有了较好的应用。V.N.Vapnik等人在20世纪60年代就开始研究小样本情况下机器学习问题，并在1995年首先提出支持向量机。近年来，支持向量机理论逐渐成熟，主要有以下几个特点： 　　（1）SVM解决的是小样本条件下的最优解，不需要训练过程中有充足的训练样本。 　　（2）SVM利用内积核函数实现从低维空间到高维空间的非线性映射，从而将非线性分类问题变为线性分类问题。SVM决策函数由支持向量确定，支持向量的数目决定计算的复杂度，与样本空间维数无关，因而它克服了传统模式识别中由于样本空间的维数过高导致的 “维数灾难”。 　　（3）SVM引入错误代价系数，可以在约束错误率的情况下找出最佳分类超平面，具有很好的推广性能，避免了人工神经网络方法中容易过度拟合训练样本的问题。然而，支持向量机在应用过程中也存在一些问题，分类过程中，不同核函数对应的分类结果、准确率都不同，如何根据不同的训练样本采用相应的核函数亟待解决。目前，国内外一些学者正在从事这方面的研究，并取得了一些进展。袁小艳等人提出了组合核函数支持向量机，充分利用了全局核函数和局部核函数的特性，提高了分类准确率[1]。丁子春在自适应算法的基础上提出了自适应核函数，通过实验证明此核函数有较好的学习能力和泛化能力[2]。OLIVIER CHAPELLE等人提出用梯度下降法选择核函数参数进行训练，得到了理想的结果[3]。因此，针对支持向量机现有的问题，本文将根据核函数类型以及核函数中的参数对数据集进行研究讨论。 　　1 支持向量机简介 　　支持向量机主要有线性可分、非线性可分以及带有核函数映射三类分类问题。由于线性分类器分类性能较差，非线性分类器在保证推广能力的前提下错误率较高，因此可以通过低维空间到高维空间的非线性映射，将问题转换为在高维空间求得最佳线性分类超平面。 　　1.1 非线性映射 　　为了使样本在特征空间可分，将[?]维空间中样本映射到高维的空间中去，通过一个非线性映射[?]：[R?]→[RD]，训练样本集我们得到[D]维空间里的分割超平面。分类样本通过映射[?]变换到[RD]中，直接在[RD]中进行分类，不用映射回原空间。 　　1.2 优化求解 　　非线性可分数据集{（[x1]，[y1]），（[x2]，[y2]），…，（[x?]，[y?]）}，经过非线性映射，数据集转化为线性可分数据集{（[?（x1）]，[y1]）），（[?（x2）]，[y2]），…，（[?（x?）]，[y?]）}，它被超平面[w，x+b=0]分开，样本点离此平面越远，支持向量机推广性能越好。同时考虑到样本分类的正确率，得到如下优化问题： 　　[min 12w2+Ci=1?ξi] 　　[s.t. yi（w，?（xi）+b）≥1-ξi， ξi≥0， i=1，2，…，?] 　　式中样本向量[xi∈R?]；[?]是训练样本数；[w]是权矢量；[b]是阈值；[yi]为样本标记。 　　通过推导得到优化目标函数： 　　[L（a）=i=1lai-12i=1lj=1laiajyiyjκ（xi?xj）] 　　式中核函数[κ（xi，xj）=?（xi），?（xj）]，原问题转化为如下最优化问题：在如下约束条件下，[i=1?aiyi=0，][0≤ai≤C，][i=1，2，…，?]。最大化目标函数[L（a）]。 　　因为有[w=][i?aiyi?（xi）]，故最终的决策函数为： 　　[h（x）=sgn（w，?（xi）+b）=sgni?aiyi?（xi），?（xj）+b] 　　由上式可知，最终的决策函数取决于核函数，核函数的性能决定最终的判别结果。 　　2 核函数研究 　　核函数是支持向量机的关键部分，核函数引入后，不用再进行庞大的内积运算，从而使高维空间的线性分类成为可能。 　　2.1 常见核函数 　　根据泛函理论，任何一种核函数只要满足Mercer条件，他就可以等价为变换空