基于Spark大数据计算模型.docVIP

基于Spark大数据计算模型 　　摘要：作为第三代机器学习工具，spark被视为替换Hadoop的下一代数据处理解决方案.包括了迭代计算、批处理计算、内存计算、流式计算、数据查询分析计算及图计算，提供了强大的内存计算引擎.Spark有望成为下一代大数据热门框架.研究分析了Spark组件生态圈和Lambda架构.最后介绍了Spark应用于机器学习领域. 　　关键词：机器学习；spark；Hadoop 　　中图分类号：TP301 文献标识码：A 文章编号：1009-3044（2016）20-0007-02 　　Abstract：As the third generation of machine learning tools， spark is considered as the next generation of data processing solution to replace Hadoop， including the iterative calculation， batch calculation， memory computing， flow calculation， data query analysis and graph calculation. It provides a powerful memory computing engine.Spark， which is the next generation of big data popular framework. 　　Key words：Machine learning； spark； Hadoop 　　大数据通常分为批量数据流及实时数据流。两种流类型都有各自解决方案，前者通常采用MPI、OpenMP及Hadoop等并行模型进行集群计算，后者采用流数据模型进行处理，如 　　Storm、S4及Spark Streaming。IBM研究院Sun[1]等认为MapReduce计算模型在倒排索引、kNN分类等批量处理的数据挖掘或统计机器学习算法中有较好效果，K-Means、高斯混合、PageRank、LDA等需要多次迭代的算法用MapReduce模型也有较好效果，缺陷是MapReduce计算模型在大量数据同步的算法如SVM中效果不佳，因此Spark集群计算平台应运而生。 　　1 Spark模型介绍[2] 　　Spark是UC Berkeley AMP lab开发的开源集群计算平台，是以内存计算为基础的集群计算框架。Hadoop模型中的MapReduce模式的缺陷是运行速度慢，比较适合离线的任务分解，运行程序时需要复制额外的信息，序列化和磁盘I/0所带来的时间空间开销代价也比较大，Spark模型基于内存计算而且执行作业是基于构建的Stage有向无环图，Spark模型运行速度快的主要原因是算子融合和有向无环图，Spark模型设计和内核处理模式较适合进行大规模信息处理。Spark组件生态圈如图1。 　　2 Spark在RDD中的编程模型[3，5] 　　RDD（Resilient Distributed Datasets）弹性分布式数据集是分布式内存的一个抽象概念，RDD设计了一种高度受限的共享内存模型，通过在其他弹性分布式数据集执行确定的转换操作而创建，这些限制使得容错实现的开销代价降低。 　　Spark的设计思想是在任务和数据的容错方式基础上，设计出一种全新的容错方式模型，能够减少网络流量及磁盘输入输出开销。RDD是一种只读数据块，可以通过从存储系统上读取数据或者进行其他RDD操作。RDD数据的只读特性表示如果对一个RDD数据块进行了操作，那么结果将会是一个新的RDD，这种情况放在代码情景下，假设变换前后都是使用同一个变量表示这一RDD，RDD里面的数据意义并不是真实的数据，而是一些元数据信息。 　　Spark提供多种计算方式，使其他成为高效的数据流水线，提供了复杂查询，流式计算、机器学习、图计算等功能。Spark支持scala、python和java评议，提供了shell，方便与用户交互。Spark可以运行在Hadoop数据源上，如HDFS、Hive、HBase等，这样的一种特征，可以让Spark开发者及用户轻易地从原系统迁移到Spark系统上来。 　　3 Spark架构思路[1，7] 　　Spark计算模型采用Lambda Architecture架构处理批量及实时流数据，Lambda Architecture架构分为三层：包括Batch Layer批处理层、Serving Layer服务层以及Speed Layer速度层。 　　其中批处理层设计基于Hadoop计算模型，在Spark平台上开发的图计算框架GraphX和机器学习