《大数据平台部署与应用》 项目实施课件 项目9 部署与应用Spark.pptx

部署完全分布式Spark集群;任务描述

在使用Spark分析水稻信息数据之前，需要先在平台上部署Spark集群，在本任务中，小数将基于项目2部署的Hadoop集群，进一步部署完全分布式Spark集群。

任务环境

已部署Hadoop集群的3台CentOS7操作系统的虚拟机。;目录;从Spark官网下载Spark安装包“spark-3.1.1-bin-without-hadoop.tgz”。

使用Xftp8远程传输工具将Spark安装包传输至master虚拟机/opt/software目录下。;目录;在master虚拟机解压安装包spark-3.1.1-bin-without-hadoop.t