简析Spark的发展历程.ppt

我的汇报完了，谢谢。 * Spark的开发与应用 使用Spark编写机器学习算法的实例 线性回归预测问题 使用Scala语言的代码如下： Spark的开发与应用 使用Spark编写机器学习算法的实例 线性回归预测问题 使用Java语言的代码如下： 感 谢 聆 听 ~ 鉴于本人能力有限，如有不足之处，请见谅 大家好，今天我讨论交流的题目是简析Spark——高效的分布式计算架构。从网上搜索相关的Spark书籍，一般都会有一段广告语，是life is short, your need spark!从这个广告中，我们可以体会出Spark一个很明显的特点，就是它能够提供便捷快速的服务、能够高效的节约人们的时间。 * 我将主要从三个方面来与大家聊聊spark的相关知识。第一点是Spark简介与体系架构。那么什么是Spark？ * 我将主要从三个方面来与大家聊聊spark的相关知识。第一点是Spark简介与体系架构。那么什么是Spark？ * Spark官方网站上给出的定义是【英语】，简单翻译一下的话，意思是Spark是一个高速，通用的大数据计算处理引擎。下面是他的官方网址，有时间可以去浏览一下，上面有很多关于Spark第一手的文档资料。 * 关于Spark的发展历史，Spark是一个技术门槛比较高，也很复杂的分布式平台，它从诞生到正式版本的成熟，经历的时间却很短很短。2009年，Spark诞生于伯克利大学的AMPLab，最初它是属于伯克利大学的一个研究性项目。它于2010年正式开源，并于2013年成为了Apache基金项目，在第二年成为Apache基金的顶级项目，整个过程不到五年时间。在2016年，也就是今年初，Spark它正式发布了2.0版本。 * 由于Spark出自伯克利大学，使其在整个发展过程中都烙上了学术研究的印记，对于一个在数据科学领域的平台而言，这也成为了Spark的发展动力。Spark的核心RDD，以及流处理，SQL智能分析，机器学习等功能，都脱胎于学术研究论文，下面的六篇论文对Spark而言都具有里程碑式的意义。从论文的作者名单里面，我们可以看到一个经常出现的名字，马泰 扎哈瑞亚。 * 马泰 扎哈瑞亚。他是Spark的主要奠基者，现在的spark就是在他博士论文的基础上发展来的，这篇论文的题目叫《【英文】》，翻译成中文的话是《大型集群上的快速和通用数据处理架构》。 * Spark的版本发展，在开源社区的贡献下，Spark版本更新速度很快，平均1到两个月就会推出一个新版本。目前Spark最新版本是2.0.2，是今年11月14号发布的。 * 接下来，再一起聊聊一下Spark的体系架构，spark的整个生态系统分为两层，下面一层是Spark最核心的部分，也被称为Spark Core;上面四个是专门用于处理特定场景的spark高层模块。也可以叫做Spark的应用层。 Spark Core这一层包含了Spark最基本、最核心的功能和基本分布式算子。它的基本功能是负责任务调度、内存管理、故障恢复以及和存储系统的交互。 * Spark Core中一个最核心的概念是RDD，【英文】。它是Spark的核心概念。指的是一个只读的，可分区的分布式数据集，简单地讲就是分布式弹性数据集，这个数据集的全部或者部分可以缓存在内存中，在多次计算中都可以重复使用。 Spark用RDD这样一个结构来包装数据的输入和处理，它是Spark的核心逻辑数据结构。这有点类似于面向对象中的类这个概念。他有三个主要特点，一是数据全集被分割为多个数据子集，每一个数据子集被分发到集群中的任意节点进行处理；二是RDD使得所有计算的中间结果被保存下来，出于可靠性的考虑，同一个计算结果也会在集群中的多个节点进行保存备份。这样如果其中的某一数据子集在计算过程中出现了问题，针对该数据子集的处理会被重新调度，进而完成容错机制。三是RDD这一数据结构都是可序列化的，在内存不足的时候，可以自动降级为磁盘存储。 所以很多人都总结说，spark的核心思路就是将数据集缓存在内存中，从而加快读取速度，同时利用RDD的特性，以较小的性能代价保证数据的鲁棒性。 * 再来看一下上面的四个模块，他们都是基于spark RDD进行了专门的封装和定制。第一个是Spark SQL， Spark SQL【色考】是用于分布式结构化数据的SQL查询和分析，在编写程序时，可以直接使用SQL语句来编写Spark分布式程序。可以很好的兼容过去那种数据库的编程方法，使得程序员能够很方便地去使用Spark，也使得Spark更加容易推广开来。 * 第二是Spark Streaming，Spark Streaming是用于处理流数据的分布式流处理框架，它将数据流以时间片为单位进行分割，形成RDD，能够以较小的时间间隔对流数据进行处