基于改进加权压缩近邻与最近边界规则SVM训练样本约减选择算法.pdfVIP

第 34 卷第5 期 Vol. 34 No. 5 燕山大学学报 2010 文章编号: 1007-791X (2010) 05-0421-05 基于改进加权压缩近邻与最近边界规则 SVM 训练样本约减选择算法 胡J1.平: 高文涛 (燕山大学信息科学与工程学院，河北秦皇岛 066侃间) 摘 署在:大规模的训练集中通常含有许多相似样本和大最对分类穗模观构造无用的冗余信息，利用全部样 本进行训练不但会增加训练时间，还可能因为出现过拟合现象而导致泛化能力下降。针对这一问题，本文 从最具代表性样本与最近边界样本两个角度综合考虑，提出…种基于改进加权压缩进邻与最近边界规则 SVM 训 练样本纳减选拷算法.该算法考虑到有价值训练样本对 SVM 分类器件能的意要影响，引进减法聚类利用改进 的加权压缩近邻方法选择最具代表性的样本进行训练，在此基础上利用最近边界规则在随机小样本池中选择边 界样本提高分类精度。在UCI 和 ωDCup 1 仰9 数据集上的实验纺巢农明，本文的算法能够有效地去除大训练 集中的冗余信息，以较少的样本获得更好的分类性能。 关键诩:样本选择:加权压缩近邻:最近边界:随机小样本地:支持向最机 中固分类号: TP391 文献标iR码: A 001: 10.3969/j战sn.1007-791X.2010.05.009 Hart [6J 率先提出了压缩近邻 (Condensed Nearest 。 引富 Neighbor , CNN) 训练集样本约减算法。诙方能首 先从锦…类别样本中各随机地捧一个样本以构成 随着科技的发展，较大规模数据集的棋取比以 初始于集，然后按最近邻原则用该子集对剩余训练 往更加容易，人们需要处理的数据常常具有高维和 集分类，并将误分样本加入子集，再重复此过程直 梅量的特点。而现有的分类算法太多适宜处理低维 3夜满足…~条件。该算浩十分直观倒对韧始值敏 数据和小训练集问题，着直接利用它们处理陶维晦 感，同时又由于样本选择的顺序性，使得选择结果 量的数据，则往往由于计算时间和硬件设备等客观 仍存在冗余信息。文献 [7-8] 对C刚算法进行了 条件的限制导致在实际中难以得到预想的效果，因 改进，提出加权 CNN 方洁 (Weighted CNN. 此大家都在探索解决办法。针对南她问题，常采用 WCNN)。该方陆来用投票原则对于集中样本的代 特征提取与地择实现维数约减 I叫:对于大训练样 本集问题，一个有效地解决办法就是样本选择(3.S] 。 表性进行评估井再次筛选，有数减少了训练集中的 咒余样本，但它问样对初值敏感。为此，本文将减 训蝶样本的好坏至关重要，不同训练样本对构建分 黯黯樊算法寻|入到 WCNN 中，用于确定初始子鳞， 挠器所租的作用不间，将直接影响分赞榻的性能， 解决算法的初值敏感问题。 对训练