类别不平衡数据的集成学习研究-计算机软件与理论专业论文.docxVIP

山东师范大学硕士学位论文 山东师范大学硕士学位论文 山东师范大学硕士学位论文 山东师范大学硕士学位论文 目 录 摘 要 i Abstract iii 第一章 绪 论 1 1.1 研究的背景和意义 1 1.2 本文的组织结构 2 1.3 本文的研究内容及主要创新点 3 第二章 类别不平衡数据的分类学习 4 2.1 分类技术和典型的分类算法 4 2.1.1 分类技术 4 2.1.2 典型的分类方法 4 2.2 不平衡数据集的分类问题 6 2.2.1 不平衡数据集分类困难的原因 6 2.2.2 解决类别不平衡问题的主要方法 8 2.3 本章小结 10 第三章 基于重采样技术的不平衡数据集集成学习 12 3.1 集成学习技术 12 3.1.1 集成学习技术与分而治之技术的差异 12 3.1.2 集成学习的关键因素 12 3.2 重采样技术的相关理论知识 13 3.2.1 重采样方法的思想来源[27] 13 3.2.2 著名的重采样方法[27] 13 3.2.3 解决类别不平衡问题中用到的重采样方法 14 3.3 基于级联结构的不平衡数据集分类研究（CasBagging 算法）[42] 14 3.3.1 经典 Bagging 算法 14 3.3.2 基于级联结构的分类器 15 3.3.3 CasBagging 算法思想 15 3.4 本章小结 17 第四章 神经网络在类别不平衡问题中的应用 18 4.1 人工神经网络（ANN）概述 18 4.2 反向传播（BP）算法相关理论 19 4.2.1 梯度下降法则[4] 19 4.2.2 经典 BP 算法 20 4.3 用加权 BP 算法(WNN)解决类别不平衡问题[43] 21 4.4 用神经网络优化的 SMOTE 方法 23 4.4.1 有放回过取样的缺点 23 I 经典 SMOTE 24 用神经网络优化的 SMOTE 算法(NNSMOTE)思想 26 II II i i 4.5 本章小结 28 第五章 评价标准和实验 29 5.1 评估标准 29 5.1.1 分类器的性能评估方法 29 5.1.2 不平衡数据集分类评价标准 30 5.2 实验环境 32 5.3 实验数据及预处理 32 CasBagging 实验 34 CasBagging 实验数据 34 CasBagging 实验结果分析 35 CasBagging 算法结论 36 5.5 WNN 算法实验 36 5.5.1 WNN 算法实验设计 36 5.5.2 WNN 实验结果及分析 37 5.6 NNSOMTE 算法实验 39 第六章 总结与展望 41 6.1 本文研究内容总结 41 6.2 进一步的工作 41 参考文献 42 攻读学位期间发表的学术论文和参与的项目 45 致 谢 46 类别不平衡数据的集成学习研究 摘 要 分类是机器学习的重要任务之一，传统的分类方法有一个默认的假设，就是数据集中 各类别所包含的样本是均衡的，故传统的分类方法都是以提高数据集的总体准确率为目标 的。但是在现实生活中，经常会存在这样的数据，即某一类别所包含的样本的数量远远小 于其他类别所包含的样本数量，我们称这样的数据为类别不平衡数据。在这些数据集中， 人们主要关注的是小类样本的信息（少数类），但是传统的分类方法由于追求总体的准确 率，很容易将全部样本判别为多数类，使得分类器在少数类样本上的效果变得很差。这样 误分的代价是巨大的。类别不平衡问题由于其广泛的存在和自身的特殊性，已经成为机器 学习和模式识别领域的焦点，是对传统分类方法的重大挑战。 目前国际上对类别不平衡数据的研究主要集中在两个个层面：对数据集的处理和对分 类算法的改进。对数据集的处理主要是用重采样的方法对数据集重构，改变原始数据集的 分布，缩减其不平衡程度，主要方法有欠取样和过取样；对分类算法的改进主要是修改传 统分类算法，使之适应类别不平衡数据分类，如代价敏感学习及基于 Boosting 的方法等。 近几年也有学者提出将重构数据集和改进分类算法结合起来使用。对上述诸方法的研究已 经取得瞩目的成就，在很大程度上改善了不平衡数据的分类现状，但是依然存在过度拟合、 信息丢失等问题，影响了分类结果的可靠性和稳定性。因此，在不影响多数类分类精度的 前提下提高少数类的识别率是一个很重要的研究课题。 本文针对类别不平衡数据这一课题，从对数据集的处理以及分类算法的改进两方面展 开研究，提出几种适合处理类别不平衡问题的新方法。本文的主要创新成果有： 1.对数据集的处理：受级联结构的启示，提出了一种针对不平衡数据集分类的新方法， 基于级联结构的 Ba