Spark分布式并行计算框架.pptxVIP

Spark：分布式并行计算框架内容简介Spark是什么Spark的发展历程Spark能干什么Spark的适用场景Spark的特点Spark生态系统Spark运行模式Spark高可用Spark核心概念：RDDSpark集群搭建Spark与Hadoop整合Spark应用部署模式Spark是什么Spark是一个基于内存计算的开源的分布式集群并行计算系统Spark非常小巧玲珑，由加州伯克利大学AMP实验室的Matei为主的小团队所开发。使用的语言是Scala，运行在JVM上，项目的core部分的代码只有63个Scala文件，非常短小精悍。是继Hadoop之后的新一代大数据分布式处理框架目前Spark在全球已有广泛的应用，其中包括 Alibaba 、 Baidu 、 Tencent Youku 、IBM、Intel、雅虎等。?Spark发展历程Spark诞生于2009年，那时候它是，加州大学伯克利分校RAD实验室的一个研究项目，后来到了AMP实验室。Spark最初是基于Hadoop Mapreduce的，后来发现Mapreduce在迭代式计算和交互式上是低效的。因此Spark进行了改进，引入了内存存储和高容错机制。关于Spark的研究论文在学术会议上发表，并且在它被创建的2009年不久之后，对于一些特定的工作，Spark比Mapreduce快10-20倍。2010年3月份Spark开源。2011年，AMP实验室开始在Spark上面开发高级组件，像Shark(Hive on Spark)，Spark Streaming。2013年转移到了Apache下，现在已经是顶级项目了。2014年5月份Spark1.0发布。目前：发布最新版Spark1.6.1Spark在7年内迅速发展，较于其他大数据平台或框架，Spark代码库最为活跃Spark发展历程Spark能干什么大规模数据处理。例如用户行为数据，电子商务平台用户的操作行为记录，放进Spark系统，然后对数据进行多维度的分析，发现潜在客户，个性化推荐商品流数据处理。图计算。社交网络机器学习。协同过滤?Spark的适用场景Spark是基于内存的迭代计算框架，适用于需要多次操作特定数据集的应用场合。需要反复操作的次数越多，所需读取的数据量越大，受益越大，数据量小但是计算密集度较大的场合，受益就相对较小由于RDD的特性，Spark不适用那种异步细粒度更新状态的应用，例如web服务的存储或者是增量的web爬虫和索引。就是对于那种增量修改的应用模型不适合数据量不是特别大，但是要求实时统计分析需求Spark特点Spark是快速的很多任务能够秒级完成，对于一些特定的工作，Spark比Mapreduce快10-20倍。Spark扩充了流行的Mapreduce计算模型，使Spark更高效地支持更多类型的计算，包括交互式查询，和流处理。速度快的另一个主要原因就是，能够在内存中计算。官方提供的数据表明，如果数据由磁盘读取，速度是Hadoop MapReduce的10倍以上，如果数据从内存中读取，速度可以高达100多倍。Spark特点Spark是易用的Spark不仅支持Scala编写应用程序，而且支持Java和Python, Python, R等语言进行编写。Spark特点Spark是通用的Spark的设计，容纳了之前很多独立的，分布式系统所拥有的功能。独立的分布式系统包括：批处理，迭代式计算，交互查询和流处理等。并且，由之前需要维护不同的集群，到现在只需要维护一个Spark集群。Spark生态圈即BDAS（伯克利数据分析栈）包含了Spark Core、Spark SQL、Spark Streaming、MLLib和GraphX等组件，这些组件分别处理Spark Core提供内存计算框架、SparkStreaming的实时处理应用、Spark SQL的即席查询、MLlib或MLbase的机器学习和GraphX的图处理，它们都是由AMP实验室提供，能够无缝的集成并提供一站式解决平台。Spark特点Spark是开放的Spark提供了Java，Scala， Python， R，SQL的API和丰富的内置库。同时，Spark和其它的大数据工具整合的很好。尤其，Spark能够运行在Hadoop集群上面，能够访问Hadoop数据。Spark特点Spark随处运行Spark具有很强的适应性，能够读取HDFS、Cassandra、HBase、S3和Techyon为持久层读写原生数据，能够以Mesos、YARN和自身携带的Standalone作为资源管理器调度job，来完成Spark应用程序的计算。Spark生态系统Spark生态系统Spark生态圈也称为BDAS（伯克利数据分析栈），是伯克利APMLab实验室打造的，力图在算法（Al