项目5 Spark组件部署.pptxVIP

大数据分析与挖掘

Spark组件及搭建步骤

01什么是Spark02Spark的特点03Spark的重要角色CONTENTS目录

什么是spark?Spark是一种基于内存的快速、通用、课扩展的大数据分析引擎。定义：

什么是spark?Spark内置模块。

Spark特点通用兼容性快易用

Driver(驱动器)Executor(执行器)Spark的重要角色把用户程序转为作业(JOB)跟踪Executor的运行状况为执行器节点调度任务UI展示应用运行状况。负责运行组成Spark应用的任务,并将结果返回给驱动器进程通过自身的块管理器(BlockManager)为用户程序中要求缓存的RDD提供内存式存储。

平台搭建操作下面我们进入Spark部署步骤详解

ZooKeeper组件及搭建步骤

01Zookeeper是什么02Zookeeper能提供什么？03zookeeper能为我们做什么04zookeeper角色简介CONTENTS目录05zookeeper的特性

zookeeper是什么是一个分布式协调服务,就是为用户的分布式应用提供协调服务，是为其他的分布式程序服务zookeeper是什么本身也是一个分布式程序(只要有半数以上节点存活,zk就能正常对外提供服务)一般奇数台

Zookeeper能提供什么？Zookeeper提供什么文件系统通知机制

zookeeper能为我们做