面向大规模失衡数据集的数据挖掘研究-软件工程专业毕业论文.docxVIP

万方数据 万方数据 Classified Index：TP391.4 Dissertation for the Master Degree in Engineering Research of Data Mining Technology for Imbalance Big Data Candidate： Zhang Lin Supervisor： Qiao Peili Academic Degree Applied for： Master of Engineering Specialty： Software Engineering Date of Oral Examination： March, 2016 University： Harbin University of Science and Technology 哈尔滨理工大学硕士学位论文原创性声明 本人郑重声明：此处所提交的硕士学位论文《面向大规模失衡数据集的数 据挖掘研究》，是本人在导师指导下，在哈尔滨理工大学攻读硕士学位期间独 立进行研究工作所取得的成果。据本人所知，论文中除已注明部分外不包含他 人已发表或撰写过的研究成果。对本文研究工作做出贡献的个人和集体，均已 在文中以明确方式注明。本声明的法律结果将完全由本人承担。 作者签名： 张林 日期： 2016 年 3 月 18 日 哈尔滨理工大学硕士学位论文使用授权书 《面向大规模失衡数据集的数据挖掘研究》系本人在哈尔滨理工大学攻读 硕士学位期间在导师指导下完成的硕士学位论文。本论文的研究成果归哈尔滨 理工大学所有，本论文的研究内容不得以其它单位的名义发表。本人完全了解 哈尔滨理工大学关于保存、使用学位论文的规定，同意学校保留并向有关部门 提交论文和电子版本，允许论文被查阅和借阅。本人授权哈尔滨理工大学可以 采用影印、缩印或其他复制手段保存论文，可以公布论文的全部或部分内容。 本学位论文属于 保密 ，在 年解密后适用授权书。 不保密√ 。 （请在以上相应方框内打√） 作者签名： 张林 日期： 2016 年 3 月 18 日 导师签名： 乔佩利 日期： 2016 年 3 月 18 日 哈尔滨理工大学工学硕士学位论文 哈尔滨理工大学工学硕士学位论文 面向大规模失衡数据集的数据挖掘研究 摘 要 数据挖掘领域中，面向大规模失衡数据集的分类问题是其中一个难点。 目前常见的数据挖掘算法适用于小规模的数据集，在处理时可以获得理想的 分类效果。可是这些挖掘算法在处理具有一定失衡比的大数据集时，通常的 数据挖掘算法有效性大大降低，时间复杂度和内存限制问题成是大规模数据 处理的一个瓶颈。同时，现实中的数据集很多都是失衡的，即一些类别的样 本数量明显比其他类别少。其中多数类样本是负类，少数类样本是正类。现 有研究都是将对大数据的处理和数据的不平衡性作为两个独立的问题分别研 究。但是现实中的大规模数据集通常具备不平衡性。使用以往数据挖掘算法 直接对大数据集进行处理时，由于数据规模庞大，数据容易过度拟合。对失 衡数据集进行分类时，基于假设类别平衡的分类算法忽略了本应被关注的少 数类别，直接影响分类结果。所以在处理大规模数据集时一定要考虑到数据 的不平衡性。 本文先分别介绍了大数据和数据不平衡的概念，介绍了当前国内外学者 对不平衡数据集和大规模数据处理问题的研究情况以及处理失衡的大规模数 据集分类问题的分类方法，深入了解适合处理大数据的并行编程模型 MapReduce。然后介绍了常用特征选择方法并深入了解决策树分类方法，提 出了基于 k 均值和人工蜂群聚合算法的决策树分类方法，并应用在肝功能诊 断上，实验表明通过聚合算法进行特征筛选可以获得更好的分类效果。针对 大规模失衡数据集分类问题，本文提出了基于 MapReduce 的并行选择采样 算法，使用 MapReduce 对并行选择采样算法和决策树分类算法并行化，以 二级并行方式来解决大规模数据集分类的时间复杂度和内存限制问题。实验 结果显示该方法能够很好的提升大规模失衡数据集的分类效率。 关键词 大数据；失衡数据；MapReduce；分类 I - Research of Data Mining Technology for Imbalance Big Data Abstract Research on Imbalanced Big Data Problems is one of the difficulties in the field of data mining. The common data mining algorithms can achieve good results on sma