Spark环境搭建和使用方法2018年2月-厦门大学数据库室.PPTVIP

4.4.1 集群概况 采用3台机器（节点）作为实例来演示如何搭建Spark集群 其中1台机器（节点）作为Master节点 另外两台机器（节点）作为Slave节点（即作为Worker节点），主机名分别为Slave01和Slave02 Master Slave01 Slave02 4.4.2 准备工作：搭建Hadoop集群环境 Spark+HDFS运行架构 请参考厦门大学数据库实验室建设的“高校大数据课程公共服务平台”里面的技术博客：《 Hadoop 2.7分布式集群环境搭建》 文章地址：/blog/1177-2/ 4.4.3 安装Spark 在Master节点上，访问Spark官网下载Spark安装包 sudo tar -zxf ~/下载/spark-2.1.0-bin-without-hadoop.tgz -C /usr/local/ cd /usr/local sudo mv ./spark-2.1.0-bin-without-hadoop/ ./spark sudo chown -R hadoop ./spark 4.4.4 配置环境变量 在Master节点主机的终端中执行如下命令： $ vim ~/.bashrc 在.bashrc添加如下配置： export SPARK_HOME=/usr/local/spark export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin $ source ~/.bashrc 运行source命令使得配置立即生效： 4.4.5 Spark配置 （1）配置slaves文件 将 slaves.template 拷贝到 slaves $ cd /usr/local/spark/ $ cp ./conf/slaves.template ./conf/slaves slaves文件设置Worker节点。编辑slaves内容,把默认内容localhost替换成如下内容： Slave01slave02 4.4.5 Spark配置 （2）配置spark-env.sh文件 将 spark-env.sh.template 拷贝到 spark-env.sh $ cp ./conf/spark-env.sh.template ./conf/spark-env.sh 编辑spark-env.sh,添加如下内容： export SPARK_DIST_CLASSPATH=$(/usr/local/hadoop/bin/hadoop classpath) export HADOOP_CONF_DIR=/usr/local/hadoop/etc/hadoop export SPARK_MASTER_IP=04 4.4.5 Spark配置 配置好后，将Master主机上的/usr/local/spark文件夹复制到各个节点上在Master主机上执行如下命令： cd /usr/local/ tar -zcf ~/spark.master.tar.gz ./spark cd ~ scp ./spark.master.tar.gz slave01:/home/hadoop scp ./spark.master.tar.gz slave02:/home/hadoop 在slave01,slave02节点上分别执行下面同样的操作： sudo rm -rf /usr/local/spark/ sudo tar -zxf ~/spark.master.tar.gz -C /usr/local sudo chown -R hadoop /usr/local/spark 4.4.6 启动Spark集群 （1）首先启动Hadoop集群。在Master节点主机上运行如下命令： $ cd /usr/local/hadoop/ $ sbin/start-all.sh （2）启动Master节点 在Master节点主机上运行如下命令： $ cd /usr/local/spark/ $ sbin/start-master.sh （3）启动所有Slave节点 在Master节点主机上运行如下命令： $ sbin/start-slaves.sh 4.4.6 启动Spark集群 （4）在浏览器上查看Spark独立集群管理器的集群信息 在Master主机上打开浏览器，访问http://master:8080,如下图： 4.4.7 关闭Spark集群 （1）关闭Master节点 $ sbin/stop-master.sh （2）关闭Worker节点 $ sbin/stop-slaves.sh （3）关闭Hadoop集群 $ cd /usr/local/hadoop/ $ sbin/stop-all.sh 在Mas