不均衡数据集中基于Adaboost的过抽样算法.pdfVIP

第33卷 第1O期 计 算 机 工 程 2007年5月 Vo1．33 No．10 ComputerEngineering M ay2007 · 人工智能及识别技术 · 文章编号：l00 428(2007)lo—l207—3 文献标识码：A 中圈分类号lTP301．6 不均衡数据集中基于Adaboost的过抽样算法 韩 慧 ，王文渊 ，毛炳寰 (1．清华大学自动化系，北京 100084；2．中央财经大学统计系，北京 100081) 摘 要：为了提高不均衡数据集中少数类的分类性能，该文融合了提升和过抽样的优点，提出了基于提升算法 Adaboost的过抽样算法 MCMO—Boost，并且将其与决策树算法c4．5、提升算法 Adaboost和过抽样算法SMOTE进行了实验比较与分析。结果表明，MCMO—Boost 算法在少数类和数据集的总体分类性能方面都优于其它算法。 关健诃：不均衡数据集；过抽样；提升算法 Over-samplingAlgorithm Based0nAdaboost inUnbalancedDataSet HAN Hui，WANG W enyuan，M Ao Binghuan (1．DepartmentofAutomation，TsinghuaUniversity，Beijing100084； 2．DepartmentofStatistics，CentralUniversityofFinanceandEconomics，Beijing100081) [Abstract]Toimprovetheclassificationperformanceofminorityclass，thispapercombinestheadvantagesofboostingandover—sampling，nad presentsanover-samplingalgorihtm basedonMCMO—BoostofAdaboost．MCMO—Boostiscomparedwiht C4．5，AdaboostandSMOTE ，andhte resultsshow thatMCMO—Boostperformsbetterthanothersfortheclassificationperfomr anceofminorityclassandthewholedataset． [Keywords]Unbalanceddaatset；Over-sampling；Boostingalgorihtm 胨 不均衡数据集的分类问题是机器学习领域中新的研究热 Accuracy=(TP+TN)／(TP+TN+FP+FN) (1) 点，解决它对于完善机器学习体系、提出新的机器学习思想 G——mean= (2) 具有很高的理论和应用价值。不均衡数据集是指，数据集中 F—value= !± ： ! (3) 某些类的样本比其他类多很多，样本多的类为多数类，样本 口 ·Recall+Precision 少的类为少数类…。 Recall=TP／(TP+FN) (4) 许多实际的应用领域中都存在不均衡数据集，例如，欺 Precjsion：TP／(TP+FP)