基于粗糙集的不平衡数据采样方法研究-计算机软件与理论专业论文.docxVIP

万方数据 万方数据 独创性声明 本人声明所呈交的学位论文是本人在导师指导 F进行的研究工作及取得的研 究成果.据我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他 人已经发友或撰写过的研究成果，也不包含为获得 屯庆邮电大学 或其他教育 机构的学位或证书而使用过的材料。与我 一同工作的同志对本研究所做的任何贡 献均已在论文中作了明确的说明并表示谢意。 学位论文作者签名 : 礼 签字 H期:洲 年 岁 月 乡日 学位论文版权使用授权书 本学位论文作者完全了解 重庆邮电大学 有关保留、使用学位论文的规 定，有权保留并向国家有关部门或机构送交论文的复印件和磁盘，允许论文被查 阅和借阅。本人授权 重庆邮咆大学 可以将学位论文的全部或部分内容编入 有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论 文。 (保密的学位论文在解密后适用本授权书〉 学叫础 知J 导师签名 叫 签叫:如句 年 叫问 签叫剖户r 月7 日 重庆邮电大学硕士论文摘要 重庆邮电大学硕士论文 摘要 万方数据 万方数据 摘 要 不平衡数据分类问题是机器学习领域里一个重要的研究内容。在不平衡数据 中，样本在各个类别之间地分布是不平衡的。由于少数类样本数量稀少，用传统 的机器学习方法在应对不平衡数据分类问题时会出现分类结果更多倾向于多数类， 而少数类样本的识别准确率不高，对少数类样本识别困难。为提高少数类样本的 识别率，研究人员在不同层面提出了解决办法，其中通过采样改变数据不平衡度 从而改善少数类识别率的方法取得了比较广泛地应用，这其中最具代表性的算法 就是 SMOTE 智能过采样算法。但是，SMOTE 采样算法不加区分地对所有少数类 样本采样，其采样范围过广。虽然能够达到提高少数类识别率的目的，但同时多 数类的决策空间被新样本压缩，其识别率降低较大。因此采样前对需要采样的少 数类样本进行筛选，研究有针对性的过采样方法很有必要。 邻域粗糙集模型将粗糙集理论应用到邻域系统中，该模型以样本点及其邻域 半径为基础，可以很容易得出整个不平衡数据集在特征空间的分布状态，如果能 够把它应用到 SMOTE 采样算法中，则可能得到采样效果更好的采样方法。本文结 合邻域粗糙集模型，开展了基于邻域粗糙集的采样方法的研究。首先，根据邻域 粗糙集模型的理论，计算每个样本的邻域半径以及邻域，根据其邻域内的样本分 布将不平衡数据集进行划分并得到属于边界域的少数类样本集与属于正域的多数 类样本集。在此基础上，结合 SMOTE 采样算法，提出了基于邻域粗糙集的边界采 样算法，即 NRSBoundary-SMOTE 算法。算法对边界域内少数类样本进行过采样， 同时将合成样本与正域内的多数类样本进行比较，若合成样本属于某个正域内多 数类样本的邻域，则进行重采样，否则将合成样本加入到训练集中。其次，在将 NRSBoundary-SMOTE 算法应用到大数据集上时出现了运行时间过长，执行效率过 低的问题。因此本文结合 MapReduce 编程范式，提出了基于邻域粗糙集的并行边 界采样算法，即 Parallel-NRSBoundary-SMOTE。算法通过将数据集划分的过程与 采样过程进行并行化，降低了算法的时间复杂度，有效改善在大数据上的计算效 率。 最后分别通过实验并将实验结果与其他算法进行对比分析，表明本文的采样 算法能够更加高效地合成少数类样本，并且能够并行处理大数据，降低执行时间。 关键词：不平衡数据，SMOTE，邻域粗糙集，边界采样，并行，MapReduce I 重庆邮电大学硕士论文Abstract 重庆邮电大学硕士论文 Abstract Abstract The imbalanced dataset problem is an important research in machine learning. In the imbalanced dataset, the class distribution is imbalanced. Because we have few minority class samples, when we use traditional machine learning methods to classify the imbalanced dataset, the result will tend to majority class, so we have a bad accuracy on minority class. It is difficult to classify the minority class samples. To improve the accuracy of minority class, researchers