基于Hadoop平台Spark框架研究.docVIP

基于Hadoop平台Spark框架研究 　　摘要：Hadoop是大数据挖掘的主流平台，在该平台上可以进行大数据的挖掘。数据挖掘的规模和速度是我们需要考虑的问题。Spark框架是一个优秀的框架，它集机器学习，图计算和在线学习为一身，是简洁、强大、高效的。该文先讨论了Spark的组成，接着讨论Spark的任务调度方式，最后讨论了Spark的环境及测试。 　　关键词：大数据；Hadoop；Spark；机器学习；图计算；实时处理 　　中图分类号：TP311 文献标识码：A 文章编号：1009-3044（2014）35-8407-02 　　Spark Framework Based on Hadoop Platform 　　CHEN Hong-jun 　　（ChengDu College of university of Electronic Science And Technology of China， Chengdu 611740， China） 　　Abstract： Hadoop is the main platform of big data mining on which you can mine big data.The scale and speed of data mining is an issue we need to consider. Spark framework is an excellent framework， which combines machine learning， graphs computing and online processing in one framework， which is a simple， powerful and efficient. This paper first discusses the Spark composition， followed by a discussion Spark task scheduling， and finally discuss the environment and test the Spark. 　　Key words： big data； Hadoop； Spark； machine learnin； graphs computing； online processing 　　云计算的研究与发展十分迅速，云计算的具体应用大数据挖掘更是具有很高的实用价值和商业价值。如何对大数据进行挖掘，并且如何对大数据进行快速、高效的挖掘更是值得研究。 　　1 Spark―新一代大数据挖掘平台 　　Spark称为快数据，比Hadoop的传统处理方式MapReduce有着很大的差别，效率至少提高100倍以上。 　　Spark分为四大模块：Spark SQL-RDD（数据执行的基本单元），MLlib（机器学习）、Graphx（图计算），Spark Streaming（实时处理）。这四个部分的数据处理单元都是RDD。所以整个框架形成了大数据处理各种应用场景编程的一致性。 　　同时，Spark是基于内存的编程模型，它可以把中间的迭代过程不放在磁盘中，直接数据不落地在内存中执行，极大地提高了它的执行速度。下面来介绍它的各个模块。 　　2 Spark SQL 　　Spark SQL允许在SQL和HiveQL中的相关查询表达式在Spark中的执行。这个组件的核心是一个新型的RDD，JavaSchemaRDD。JavaSchemaRDD是由Row对象和schema描述行中每一列的数据类型。JavaSchemaRDD类似一个关系型数据库中的表。一个JavaSchemaRDD可以通过已存在的RDD，Parquet文件，一个JSON数据集或者存储在Apache Hive通过HiveQL运行的数据来创建。 　　Spark SQL程序都需要程序的入口： 　　public static void main（String[] args） throws Exception { 　　SparkConf sparkConf = new SparkConf（）.setAppName（JavaSparkSQL）； 　　JavaSparkContext ctx = new JavaSparkContext（sparkConf）； 　　//创建SQL查询的入口点，上下文。可以用来创建SchemaRDD来执行SQL查询。 　　JavaSQLContext sqlCtx = new JavaSQLContext（ctx）； 　　…} 　　3 MLlib 　　MLlib是一些常用机器学习算法和工具中非常突出的，分类，回归，聚类，协同过滤，