Spark简介14课件讲解.pptxVIP

Spark简介

Spark基本概念与特点

Spark生态系统及未来发展趋势

目录

Spark基本概念与特点

01

Spark定义及发展历程

发展史

2009年由加州大学伯克利分校的AMP实验室开源

2014年2月，Spark成为Apache的顶级项目

2017年7月，Spark2.2.0发布，系统的可用性、稳定性更加出色

大规模分布式通用计算引擎

SparkCore：核心计算框架

SparkSQL：结构化数据查询

SparkStreaming：实时流处理

SparkMLib：机器学习

SparkGraphX：图计算

基本特征

速度快

ApacheSpark使用最先进的DAG调度程序、查询优化器和物理执行引擎，实现批处理和流处理的高性能运行。

易于使用

Spark提供80多个高级操作，可以轻松构建并行应用程序。支持使用Scala，Python，R和SQLshell以交互方式使用它。

基本特征

通用

Spark支持很多库，包括SparkSQL、用于机器学习的MLlib、处理图计算的GraphX和流处理SparkStreaming。可以在同一个应用程序中无缝地组合这些库。

多种运行模式

可以在Standalone集群、EC2、HadoopYARN、Mesos上或在Kubernetes上运行Spark。并且支持访问HDFS，Alluxio，ApacheCassand