基于Spark的聚类集成系统研究与设计-软件工程专业论文.docxVIP

国内图书分类号：TP301．6 国内图书分类号：TP301．6 密级：公开 国际图书分类号：681．14 西南交通大学 研究生学位论文 焦 姓 专 二零一五年五月一令一丑，牛直月 万方数据 Classified Classified Index：TP30 1．6 U．D．C：681．14 Southwest Jiaotong University Master Degree Thesis RESEARCH AND DESIGN OF CLUSTERING ENSEMBLE SYSTEM BASED ON SPARK Grade：2012 Candidate：Wang Tao Academic Degree Applied for：Master Speciality：Software Engineering Supervisor：Prof．Yang Yan May，2015 万方数据 西南交通大学 西南交通大学 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，同意学校保留并 向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。本人授 权西南交通大学可以将本论文的全部或部分内容编入有关数据库进行检索，可以采用 影印、缩印或扫描等复印手段保存和汇编本学位论文。 本学位论文属于 1．保密口，在 年解密后适用本授权书： 2．不保密d，使用本授权书。 (请在以上方框内打“√”) 学位论文作者签名： 日期：伽 万方数据 西南交通大学硕士学位论文主要工作(贡献)声明本人在学位论文中所做的主要工作或贡献如下： 西南交通大学硕士学位论文主要工作(贡献)声明 本人在学位论文中所做的主要工作或贡献如下： (1)提出基于弹性分布式数据集的分布式聚类集成算法(DisCE)，首先设计一 个基于弹性分布式数据集的分布式邻接表，解决关联数据在分布式环境中的表示和 存储；其次利用分布式的共识函数模型，综合几个海量基聚类结果并用分布式邻接 表表示；最后运用改进的分布式最近邻传播算法(MDAP)，划分分布式邻接表以 获得最终的聚类结果。 (2)设计并实现了基于Spark的聚类集成系统，实现海量数据存储、处理、互 操作，为大数据挖掘应用提供高可靠性、高性能的聚类集成系统。 本人郑重声明：所呈交的学位论文，是在导师指导下独立进行研究工作所得的成 果。除文中已经注明引用的内容外，本论文不包含任何其他个人或集体已经发表或撰 写过的研究成果。对本文的研究做出贡献的个人和集体，均已在文中作了明确说明。 本人完全了解违反上述声明所引起的一切法律责任将由本人承担。 学位论文作者签名： 日期：小V 万方数据 西南交通大学硕士研究生学位论文 西南交通大学硕士研究生学位论文 第1页 摘要 随着云计算技术的发展，大数据应用有了更广的扩展与延伸。大数据的价值开始 日益受到重视，人们对数据处理的实时性和有效性的要求也在不断提高。聚类分析技 术在大数据中的应用，使得人们从数据中获取信息、知识和决策支持更加容易。但是， 传统串行式的聚类算法在处理海量或者高维数据时，聚类的速度不够快，且单一聚类 算法在处理新的数据时表现不尽如人意(泛化性较差)；在面对大规模数据时，受制于 内存容量，往往不能有效地运行，因而传统串行式聚类算法已经难以满足当前实际应 用的需求。 为提高聚类性能，作为当前新的研究热点，聚类集成技术已被证明可以较大地提 高传统聚类算法的性能。并行计算模型MapReduce的出现，使得大量用户能够在集群 上分析超大数据集。然而MapReduce模型不是万能的，针对多数分布式聚类算法在基 于MapReduce模型做并行时，采取的不合理并行策略以及并行聚类结果不理想等缺陷。 本文提出基于弹性分布式数据集(RDDs)的分布式聚类集成算法，充分利用RDDs模 型和聚类集成算法的优势，有效提高聚类分析在大数据应用中的聚类结果质量和处理 能力。算法首先设计一个基于RDDs的分布式邻接表，解决关联数据在分布式环境中 的表示和存储；其次利用分布式的共识函数模型，综合几个海量基聚类结果并用分布 式邻接表表示；最后运用改进的分布式最近邻传播算法(MDAP)，划分分布式邻接表 以获得最终的聚类结果。 Spark是继Hadoop之后的新一代大数据分布式处理框架。本文设计并实现了基于 Spark的聚类集成系统，实现海量数据存储、处理、互操作，为大数据挖掘应用提供高 可靠性、高性能的聚类集成系统。在系统架构设计时，采用分层的设计思想、面向组 件设计的思路构建系统，自下而上依次分为：分布式计算层、基础平台层、算法分析 层、云服务层和用户应用层。在系统实现的过程中，充分利用当下最流行的软件框架， 缩短系统的开发周期，同时提高系统的质量。 最后在本文的系统测试中，进行了