基于Spark云计算平台在实验室应用与实现.docVIP

基于Spark云计算平台在实验室应用与实现 　　摘 要：随着数据挖掘逐渐被应用到金融、娱乐、商业和医疗等多个行业，近年来涌现出各种用于处理海量数据的数据处理引擎，如MapReduce、Spark等。为了使高校实验室更深入地进行数据挖掘领域的理论研究，简要阐述分析了Spark技术及HDFS的概念与基本原理，详细介绍了基于Spark的云计算平台配置方法和实现过程，并对平台搭建过程中遇到的问题进行总结。实验结果证明，该平台能够有效完成分布式数据处理任务。 　　关键词：Spark；HDFS；云平台；数据处理 　　DOI：10.11907/rjdk.172906 　　中图分类号：TP391 　　文献标识码：A 文章编号：1672-7800（2018）004-0191-03 　　Abstract：In recent years， a variety of open source data processing engines are emerging such as MapReduce， Spark， etc.， which are used to efficiently handle massive amounts of data. In order to offer the laboratory of the university deeper research of the field of data mining， this paper briefly analyzes the concept and basic principle of Spark technology and HDFS， and then introduces configuration method and implementation process of the Spark-based cloud computing platform.The experiments show that the platform can effectively complete the distributed data processing tasks. 　　Key Words：Spark； HDFS； cloud platform； data processing 　　1 Spark及分布式系统简介 　　1.1 Spark技术 　　Spark是类Hadoop MapReduce的通用数据分析集群计算框架，起源于加利福尼亚大学伯克利分校。为了解决现有Hadoop版本在计算模式、计算性能、处理能力及系统构架上的缺点，大部分计算框架采取各种计算模式与内存计算模式混合，以实现高实时性的大数据查询与计算分析[1]，而其中最为完善和流行的便是Spark生态系统。 　　Spark处理方法一直在行业内被广泛借鉴。弹性分布式数据集（RDD）是Spark使用的主要抽象，其通过内存存储数据，以改善速度和资源问题[2]；它能够在不进行复制的情况下提供容错机制，并且支持迭代计算；它支持一组丰富的高级工具，包括用于SQL的Spark SQL结构化数据处理、用于机器学习的MLlib、用于图处理的GraphX和Spark Streaming[3]。因此，Spark更适用于数据挖掘与机器学习等需要迭代的算法。 　　1.2 分布式系统 　　Hadoop分布式文件系统（HDFS）是Hadoop集群中所有节点进行数据存储的文件系统，适用于通用硬件及大规模数据集的应用，具有高容错性、高吞吐率、高扩展性和高可靠性等特点[4-7]。 　　HDFS采用master/slave架构。一个HDFS由一个NameNode（master）和多个DataNode（slave）组成，其中master负责管理文件系统命名空间和Client对文件的访问，slave负责管理所在节点的存储。HDFS对外提供一个文件系统命名空间，允许用户将数据存为文件格式。 　　2 Spark云平台实现方法 　　Spark云平台是西安石油大学服务器虚拟出的4个节点，使用内部地址，无密码登录。下面主要介绍在Ubuntu系统下部署Spark云平台的方法，所用操作系统为Ubuntu 14.04.1 LTS，Hadoop[8]版本为2.6.4，Spark版本为1.6.2。 　　2.1 网络配置 　　集群中包括1个主节点：tulip01，3个从节点：tulip02、tulip03、tulip04。其中tulip01节点主要配置NameNode和JobTracker角色，负责总管分布式数据并分解任务执行；3个从节点配置DataNode和TaskTracker角色，负责分布式数据存储以及任务执行。 　　2.2 SSH无密码验证配