基于分层集成学习算法的不平衡数据分类问题研究.pdfVIP

摘要

摘要

在类不平衡数据集的分类问题中，Boosting算法的主要思想是在训练过程中

给予识别困难的样本以更高的权重。类似地，相关学者也采用类似地算法思路

来解决不平衡数据集所衍生出来的各类问题。从实际工程的角度出发来看

AdaBoost算法，该算法可以算作常用的Boosting算法之一，其优点在于通过组

合一系列弱分类器构成强分类器提升模型拟合能力。该算法的主要思想是重复

迭代调用子分类学习器，在每次迭代后更新训练集合的分布，对模型不能正确

识别的负类样本点予以更高的权重，在下一次训练过程中分配以上述权重给到

错分样本点。与此同时，AdaBoost算法也存在着易受异常值点的影响、无法对

数据重叠区域的精确赋权等缺点。如果能够将现有的AdaBoost分类器从架构上

由一个通过划分数据集增加至三个，同时进行噪声值处理、数据重叠区域处理

和剩余区域的处理，将会在损失模型复杂度的基础上提高AdaBoost算法在多噪

声、重叠数据的特定情况下不平衡数据集的精确率，进一步提升AdaBoost分类

器的性能。

本文使用现有的几种技术（K-NN，LOF、SMOTE、Borderline-SMOTE、

AdaBoost）探索改进了类不平衡数据集上有缺陷的AdaBoost算法。通过真实数

据集、公开数据集两个维度阐明了分层自适应集成算法在处理类不平衡的分类

数据集时具有一定优势——(1)模型拟合能力优于经典AdaBoost算法；(2)对于不

均衡比值较高的类不平衡数据提升了模型对少数类样本的识别能力。

综上所述可以得出以下结论，本文以一个新颖的角度在不平衡数据分类问

题上另辟蹊径，以数据分层后分区域训练的思想改善了AdaBoost算法模型在特

殊情况下的缺陷，完善了算法框架，对于处理不平衡数据问题上有一定的借鉴

意义。

关键词：不平衡数据；集成学习；分类算法

I

Abstract

Abstract

XiaogangLi

AppliedStatistics

DirectedbyZhiyongZen

Intheclassificationproblemofclass-imbalanceddatasets,themainideaof

​​theBoostingalgorithmistogivehigherweightstothedifficult-to-identify

samplesduringthetrainingprocess.Similarly,relatedscholarshavealsoadopted

similaralgorithmideastosolvevariousproblemsderivedfromimbalanceddatasets.

Fromtheperspectiveofpracticalengineering,theAdaBoostalgorithmcanbe

regardedasoneofthecommonlyusedBoostingalgorithms.Itsadvantageisthatitis

notnecessarytosetthelearningaccuracythresholdinadvance.Themainideaof

​​thealgorithmistorepeatedlyiterateandcallthesub-classificationlearner,

updatethedistributionofthetrainingsetaftereachiteration,givehigherweightsto

thenegative-classsamplepointsthatthemodelcannotcorrectlyidentify,andassign

theaboveweig