《大数据离线分析技术》课件——Spark的模块.pptxVIP

;Spark模块;Spark模块;Spark模块包含：SparkCore、SparkSQL、SparkStreaming、SparkMLlib、集群管理器。

;模块详解; 一、SparkCore

实现了Spark的基本功能，包含任务调度、内存管理、错误恢复、与存储系统交互等模块。SparkCore中还包含了对弹性分布式数据集(ResilientDistributedDataSet，简称RDD)的API定义; 二、SparkSQL

提供SQL处理能力，便于熟悉关系型数据库操作的工程师进行交互查询。此外，还为熟悉Hive开发的用户提供了对HiveSQL的支持。; 三、SparkStreaming

提供流式计算处理能力，目前支持ApacheKafka、ApacheFlume、AmazonKinesis和简单的TCP套接字等多种数据源。此外，SparkStreaming还提供窗口操作用于对一定周期内的流数据进行处理。; 四、MLlib

Spark提供的机器学习库。MLlib提供了机器学习相关的统计、分类、回归等领域的多种算法实现，具有一致的API接口。; 五、集群管理器

Spark设计为可以高效地在一个计算节点到数