一种加权支持向量机算法.pdfVIP

一种加权支持向量机算法1 刘 爽 贾传荧 大连海事大学航海研究所 大连 116026 摘要：C．SVM算法在不同类别样本数目大小不同时，对样本数量多的类别，其分类误差小， 而对样本数量少的类别，其分类误差大。出现重复样本时作为新样本重新计算，增加了算法 的训练时间。针对这两种问题，分析了产生的原因，提出了一种新的加权支持向量机算法， 补偿了类别差异造成的不利影响，加快了决策速度。仿真实验结果证明了新的加权支持向量 机算法的有效性。 关键词：C．SVM加权支持向量机算法类别差异重复样本分类精度 1 引言 在解决小样本、非线性和高维模式识别问题中，支持向量机表现出推广能力强、全局最 优等许多特有的优势，并能够应用到函数拟和等其他机器学习问题中川。在对SVM的研究中， 提高算法的分类能力是所有研究的出发点和归宿。支持向量机算法在处理各类别差异的样本 数据时存在缺陷。文献(21分析了C．SVM算法中类别大小不平衡造成对分类精度的影响，提出 了相应的解决办法，但没有给出严格的证明。文献口1提出了双v．SVM算法解决v．SVM算法H】 训练类别不平衡带来的问题。文献b1提出了FSVM算法给每个样本赋一个模糊隶属度，减少 外部和数据集中噪声的影响，使不同的样本对决策函数的学习有不同的贡献。本文提出的加 权支持向量机算法用来解决样本类别差异和重复样本问题。 2 C-SVM算法 训练向量xf酿“，i=1，．．．，属于两类，即Yi∈{-1，1}，把训练数据正确分类是指求得的最 优分类超平面不但要把两类数据正确分开，而且要使分类间隔最大，由此得到的初始问题为： I=髋5扣112+c∑i毋)1( s．t．辫(w，xf+易)≥1一￡ ，。 。z’ 专≥O，i=1，…，z 其中，W为超平面W，墨+6=0的法矢量，b为超平面偏值，C为惩罚参数，C越 大表示对错误分类的惩罚越大，为了区别，称之为C．SVM算法Ⅲ。毛为松弛因子，表示x；到 。交通部西部建设科技项目(2130236879133) ·453· 过一个非线性映射≯(x，)把训练数据xf映射到一个高维线性特征空间。但在求解时并不需要计 具有线性约束的二次规划问题，得到的对偶优化问题为： ， 1 f ， 掣∑q一吉∑∑qQ，YiYjK(Xi,Xj) (3) ” i=1 。i=l j=l S．t．0≤强≤C 4 ，～ = Q O ，∑耐 M 其中Q，，i=1，…，，为拉格朗日乘子。最优化求解的％中，存在三种情况：①Ot；=0；② Vector)，只有支持向 0QiC：③Qf=C，后两种情况Qf所对应的xf为支持向量(Support 量对最优超平面、决策函数有贡献。在支持向量中，⑨所对应的X；称为边界支持向量，实际 上是错分的训练样本点，②所对应的X，称为标准支持向量。通过求解对偶的拉格朗日问题， f