SMOTE算法的改进与应用.pdfVIP

重庆大学硕士学位论文 中文摘要 摘 要 在实际生活中总会遇到大量的不平衡数据问题，但是这类数据集的分类效果 往往不太理想。如何能够提高不平衡数据集的分类效果是学者们的研究热门。本 文对不平衡数据集的分类算法做了研究， 首先，介绍了几种单分类器和几种集成学习分类器的算法思想及流程。 其次，介绍并分析了 SMOTE 算法的优缺点。作为经典的过采样算法，SMOTE 算法能有效地避免数据过拟合问题，从而提高模型的泛化能力。但 SMOTE 算法没 有考虑到数据的分布情况以及多数类对少数类的影响，而且也没有考虑到样本点 的特异性。现有的一些改进算法从某些方面对 SMOTE 算法进行了改进，一定程度 上提高了分类效率，但也存在一些其它问题。本文详细分析了 SMOTE 及其改进算 法的优劣，为了进一步提高不平衡数据集的分类效果，提出了一种基于欧氏距离 比的 DC-SMOTE 算法。DC-SMOTE 算法不仅能避免过拟合问题，而且着重考虑 了数据样本点的分布情况，针对处在不同位置的样本点赋予不同的系数取值，从 而特异性地进行插值操作。相比于 SMOTE 算法，本算法提高了合成的新样本点的 质量，在一定程度上改善了 SMOTE 算法的劣势。 最后，本文选用了 UCI 的 5 个不平衡数据集和公司项目的经纪人模型真实数 据集进行了实验，选用了 4 种经典单分类器算法和 4 种经典集成学习算法对 SMOTE、Borderline-SMOTE、Kmeans-SMOTE 以及DC-SMOTE 算法进行对比实 验，分别从 F 值、G-mean 、AUC 值等指标进行分析。实验证明本文提出的 DC-SMOTE 算法能有效地提高分类算法模型的分类能力，具有有效性。同时，将 算法应用于公司经纪人模型项目，分类也达到了不错的效果，并最终在公司成功 上线，这也证明了本文的研究具有较高的研究意义和实用价值。 关键词：不平衡数据；分类算法；SMOTE 算法；经纪人模型 I 重庆大学硕士学位论文 英文摘要 Abstract In our daily lives, there are always a lot of unbalanced data problems, but the classification effect of such data sets is often not ideal. How to improve the classification effect of unbalanced data sets is a popular research topic for scholars. In this paper, the classification algorithm of unbalanced data sets is studied. Firstly, the algorithm ideas and processes of several single classifiers and several integrated learning classifiers are introduced. Secondly, the advantages and disadvantages of the SMOTE algorithm are introduced and analyzed. As a classic oversampling algorithm, the SMOTE algorithm can effectively avoid data over-fitting problems,