基于Spark的大数据挖掘技术的研究与实现-软件工程专业论文.docxVIP

分类号：TP311 分类号：TP311 单位代码：10422 密级： 学 号：2013222819 ⑧ ∥户 蒙力番 SHANDoNG UNIVERSITY 硕士学位论文 Thesis for Master Degree (专业学位) 论文题目： 基于Spark的大数据挖掘技术的研究与实现 The Research and Implementation of Mining Large Data Based on Spark 作者 姓 名 李文栋 培养 单 位 软件学院 专业 名 称 软件工程 合作 导 师 201 5年4月20 El 万方数据 原创性声明本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独 原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独 立进行研究所取得的成果。除文中已经注明引用的内容外，本论文不 包含任何其他个人或集体已经发表或撰写过的科研成果。对本文的研 究作出重要贡献的个人和集体，均已在文中以明确方式标明。本声明 的法律责任由本人承担。 论文作者签名：銮立朱址日 期： 2Q15=垒=2Q 关于学位论文使用授权的声明 本人同意学校保留或向国家有关部门或机构送交论文的印刷件和 电子版，允许论文被查阅和借阅；本人授权山东大学可以将本学位论 文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印 或其他复制手段保存论文和汇编本学位论文。 (保密论文在解密后应遵守此规定) 论文作者签名：拙导师签名：——日 期： 201 5．4—20 万方数据 山东大学硕士学位论文目 山东大学硕士学位论文 目 录 摘要 I Abstract ．III 第一章绪论 1 1．1研究背景 ．1 1．2国内外研究现状 ．2 1．3研究内容 ．5 1．4主要贡献 ．6 1．5本文的组织结构 ．7 第二章Spark系统生态与环境搭建 ．8 2．1 Spark大数据处理框架及其生态系统 8 2．1．1 Spark Runtime ．．8 2．1．2 Spark SQL 10 2．1．3 MLlib ．．1 0 2．1．4 GraphX ．．1 1 2．1．5 Spark Streaming 1 2 2．2 Scala语言 ．．13 2．3 Spark开发环境及其分布式集群搭建 一14 2．3．1硬件系统要求 ．14 2．3．2构造分布式Hadoop集群 ．．1 5 2．3．3构造分布式Spark集群 ．．16 2．3．4配置Spark的IDE开发环境 ．17 第三章基于Spark的分布式协同过滤推荐实现 ．20 ：；．1 MLlib 20 3．1．1 MLlib算法库 20 3．2协同过滤算法 21 3．2．1协同过滤综述 ．21 万方数据 山东大学硕士学位论文3．2．2协同过滤核心思想 山东大学硕士学位论文 3．2．2协同过滤核心思想 ．2l 3．3基于Spark的协同过滤推荐实现 24 3．3．1 MLlib中并行协同过滤推荐的实现 24 3．3．2核心代码 ．25 3．4实验验证 28 3．4．1选用的数据集 ．28 3．4．2运行结果 ．33 第四章基于Spark的Apriori算法分布式实现 36 4．1 Apriori算法原理和分析 36 4．1．1 Apriori算法概念和核心步骤 ．．36 4．1．2 Apriori算法的伪代码实现 ．．37 4．1．3 A研ori算法单机实现的核心代码 ．．38 4．2 Apriori算法基于Spark的分布式实现 41 4．2．1并行Apriori算法实现思路 41 4．2．2并行Apriori算法核心步骤 4l 4．3实验验证 45 4．3．1实验环境和条件 ．45 4．3．2实验结果分析 ．50 第五章总结与展望 ．51 参考文献 ．53 致 谢 ．55 万方数据 山东大学硕士学位论文CONTENTS 山东大学硕士学位论文 CONTENTS Chinese Abstract ． ·I English Abstract III Chapterl Introduction ．． ． 1 1．1 The research background ．1 1．2 Current research at home and abroad 2 1．3 Content ofresearch ．5 1．4 Maill work of this article ．6 1．5 Paper organization structure ·7 Chapter2 The Spark System ecology and environment ·8 2．1 Spark ecology 8 2．1．1 Spark Runtime ．8 2．1．2 Spark SQL ··10 2