《一种基于聚类提升的不平衡数据分类算法》.pdfVIP

第 3卷 第 2期 集 成 技 术 Vo1．3 NO．2 2014年 3月 JOURNALOF INTEGRATION TECHNOLOGY Mar．2O14 一 种基于聚类提升的不平衡数据分类算法 胡小生 张润晶 钟 勇 (佛山科学技术学院电子与信息工程学院 佛山 528000) (佛山科学技术学院信息与教育技术中心 佛山 528000) 摘 要 不平衡数据分类是机器学习研究领域中的一个热点问题。针对传统分类算法处理不平衡数据的少数类识 别率过低问题，文章提出了一种基于聚类的改进AdaBoost分类算法。算法首先进行基于聚类的欠采样，在多数类 样本上进行 K均值聚类，之后提取聚类质心，与少数类样本数 目一致的聚类质心和所有少数类样本组成新的平衡 训练集。为了避免少数类样本数量过少而使训练集过小导致分类精度下降，采用少数过采样技术过采样结合聚类 欠采样。然后，借鉴代价敏感学习思想，对AdaBoost算法的基分类器分类误差函数进行改进，赋予不同类别样本 非对称错分损失。实验结果表明，算法使模型训练样本具有较高的代表性，在保证总体分类性能的同时提高了少 数类的分类精度。 关键词 不平衡数据分类；K均值聚类；AdaBoost；集成学习 中图分类号 TP18 文献标志码 A AClustering-BasedEnhancedClassificationAlgorithm forImbalancedData HUXiaosheng ZHANGRunjing ZHONGYong (CollegeofElectronicandInformationEngineering，FoshanUniversity，Foshan528000，China) (InformationandEducationTechnologyCenter,FoshanUniversiyt，Foshan528000，China) Abstract ImbalanceddataexistwidelyintherealworldandtheirclassificationiSahottopic1nthefieldofmachine learning．A clusteringb·asedenhancedAdaBoostalgorithm wasproposedtoimprovethepoorclassificationperformance producedbythetraditionalalgorithm inclassifyingtheminorityclassofimbalanceddatasets．Thealgorithm firstly constructsbalancedtrainingsetsbytheclustering—basedundersampling，usingK—meansclusteringtoclusterthemajority classandextractclustercentroidsandthenmergewithallminorityclassinstancestogenerateanew balancedtrainingset． Toavoidthedecliningoftheclassificationaccuracycausedbythesho~ageofrtainingsetsowingtotoofew minorityclass samples，SMOTE(SyntheticMinorityOversamplingTechnique)combiningtheclustering—basedundersamplingwasused． Next，themisclassificationlossfunctioninthebasicclassifieroftheAdaBoosta