基于Spark的若干数据挖掘技术研究-计算机应用技术专业论文.docxVIP

Study of Some Techniques in Data Mining Based on Spark By Yongheng Ning A Dissertation Submitted to China Jiliang University In partial fulfillment of the requirement For the degree of Master of Engineering China Jiliang University June, 2015 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作和取得的 研究成果，除了文中特别加以标注和致谢之处外，论文中不包含其他人已经发 表或撰写过的研究成果，也不包含为获得 中国计量学院 或其他教育机构的学 位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已 在论文中作了明确的说明并表示了谢意。 学位论文作者签名： 签字日期： 年 月 日 学位论文版权使用授权书 本学位论文作者完全了解 中国计量学院 有关保留、使用学位论文的规 定。特授权 中国计量学院 可以将学位论文的全部或部分内容编入有关数据库 进行检索，并采用影印、缩印或扫描等复制手段保存、汇编以供查阅和借阅。 同意学校向国家有关部门或机构送交论文的复印件和磁盘。（保密的学位论文在 解密后适用本授权说明） 学位论文作者签名： 导师签名： 签字日期： 年 月 日 签字日期： 年 月 日 致 谢 由衷的感谢我的研究生导师杨小兵老师，在攻读硕士研究生期间，对我的 学习生活等方面的关怀与支持，尤其是在学术研究和社会实践方面的帮助和指 导。杨老师对待学生认真负责，在他的认真教育和指导下我学到了很多课堂上 学不到的东西，让我懂得了很多人生哲理。在读研期间，杨老师还提供了很多 动手实践的机会，让我在找工作的过程中受益匪浅，在这里，我要真诚地感谢 杨老师！ 感谢给我提供实习岗位的单位：星环信息科技（上海）有限公司，感谢组 长葛佳琦，同事程大伟、魏世轩，同时感谢何灵敏老师在我研究生期间给予的 指导和帮助。感谢我的师姐师兄师弟师妹：安春霖、彭立军、赵龙、平明珠、 陈亮、苏金阳、魏莎莎，在研究生学习期间给予我的关心与支持。 宁永恒 2015 年 6 月 基于 Spark 的若干数据挖掘技术研究 摘要：随着大 数据概 念的火热 兴起 ，分布 式框架和 并行化 计算 方法得到 迅 猛的发展 。大 数据带 来的是数 据量的 增长 和计算复 杂度的 增加 ，传统 的数 据挖掘处 理方式 已经 捉襟见肘 。如何 快速 、准确的 实现大 数据 挖掘任务 ， 成为当下 研究的 热点 。相对 于传统 流程不 能解决海 量数据 的 挖 掘和近年 来 流行的 Hadoop 平台 处理数据 挖掘任 务效 率低下的 状况，大数 据平台 Spark 基于内存 计算 、灵活 性高 、通 用性 强，对 数据挖掘 算法的 实现 有着无与 伦 比的优势 。本文 围绕 大数据平 台 Spark 和 数据挖掘 两个概 念，对 Spark 上 的数据挖 掘算法 进行 了研究、优化 、增加 ，同时在 实际 应用中 做出了准 确 性、吞吐量、处理速 度的测试，证明了 工 作的有效 性。论文 的 主要工作 如 下： 设计了关联规则算法在 Spark 上的实现结构，同时将 Apriori 算法在 Spark 平台上实现。针对 Spark 与 Apriori 算法的特性对 Apriori 算法进行多次优化，使 算法在数据量巨大的情况下并发计算执行，在较短时间内得到正确结果。并将 算法在实际中应用，吞吐量和处理时间性能测试，证明了算法实现的有效性。 研究了分类算法在 Spark 上的实现结构，将朴素贝叶斯分类算法做相应改 进，设计其在 Spark Streaming 上的实现过程，实现了流数据的实时分类问题。 最后在垃圾短信分类中测试了算法的有效性。 研究了 Spark 算法库 Mllib 中存在的聚类算法 k-means，并根据 k-means 实 现原理对其只能识别大小相近、凸形簇的缺陷做针对性改进，使 k-means 算法 能够识别大小相差较大簇的问题，同时，将改进后的算法在 Spark 上实现，最 后使消费人群的聚类问题得到了更好的聚类结果。 关键词：大数据；分布式；Spark；数据挖掘 分类号：TP391 Study of Some Techniques in Data Mining Based on Spark Abstract：Distributed framework and parallel computing method got rapid devel