一种适用于不均衡数据集分类的KNN算法.PDFVIP

第 11卷 第 12期 2011年4月 科 学 技 术 与 _丁 程 Vo1．11 No．12 Apr．2011 1671— 1815(2011)12—2680—06 ScienceTechnologyandEngineering ⑥ 2011 Sci．Tech．Engng． 一 种适用于不均衡数据集分类的KNN算法 杜 娟 支0志冈0 衣治安 (东北石油大学计算机与信息技术学院，大庆 163318) 摘 要 传统的K一最邻近 (KNearestNeighbor，KNN)分类算法在处理不均衡样本数据时，其分类器预测倾向于多数类，少数 类分类误差大。针对此问题从数据层的角度改进了传统的KNN算法。先通过K—means聚类算法将少数类样本聚类分组，将 每个聚类内的样本作为遗传算法的初始种群；再使用遗传交叉和变异操作获取新样本，并进行有效性验证。最终获取到各类 别样本数量基本均衡的训练样本集合。实验结果表明此方法有效改善了KNN算法对少数类分类效果。此法同时适用于其他 关注少数类分类精度的不均衡数据集分类 问题。 关键词 KNN 上采样 不均衡数据集 聚类 遗传交叉 遗传变异 中图法分类号 TP391．3； 文献标志码 A 目前 ，许多领域 的实际应用中都存在不均衡数 法的基本思想是 ：根据待判定样本与训练样本集中 据集的分类问题，如医疗诊断、入侵检测、信息过 与该样本距离最近(最相似)的K个样本，根据这 K 滤、文本分类等。所谓不均衡数据集是指，在同一 个样本所属的类别来判定薪样本类别。 样本集合 中某些类别较其他类别在样本数量上 占 由于KNN是一种典型的基于类 比的学习算法， 较大优势。容易获取样本的类称为多数类 ，反之称 因此每个类别都必须具有一定数量及代表性 的训 为少数类。使用传统的分类算法处理不均衡数据 练样本才能保证分类效果。实际上诸如 KNN以及 集上的分类 问题时，少数类分类效果往往很不理 支持向量机 (SupportVectorMachine，SVM)等传统 想。然而在实际应用中，人们更加关注的恰是少数 的分类算法都是 以训练样本集合 中类分布基本平 类是否被更准确地识别，少数类的错分代价很大。 衡为假设前提的，在不均衡数据集上的分类效果倾 向于多数类 J。图 1所示为两类样本数量严重不 例如使用文本文类的方法实现入侵检测时，有些攻 均衡对 KNN分类器性能的影响。由图可见 ，待测样 击发生较少 ，因此样本不易获取 ，造成各类样本分 本属于少数类 ，而样本数量 的严重不均衡导致 了 布严重不均衡，若将大量攻击错分为正常行为是不 KNN分类器判别错误。 能被容忍的。 1 KNN算法与不均衡数据集分类问题 1．1 KNN分类算法 KNN是常用的模式识别算法，在许多领域 (简 变量2 单情况和复杂情况)都显示出良好的性能口]。该算 图1 不均衡数据集上的KNN分类 2011年2月14日收到 黑龙江省研究生创新科研资金 1．2 不均衡数据集分类问题 项 目(YJSCX2006-38HLJ)资助 目前对于不均衡数据集分类的解决方法主要 第一作者简介 ：杜 娟 (1980一)，女，黑龙江人，讲师，硕士，研究方 分为三类 ：移动 阈值法 、调整代价或权重法 和 向：人工智能与数据