云应用开发类企业案例基于Zookeeper搭建Spark集群基于Zookeeper搭建Spark高可用集群.docxVIP

基于 Zookeeper 搭建 Spark 高可用集群 1集群规划 这里搭建一个 3 节点的 Spark 集群，其中三台主机上均部署?Worker?服务。同时为了保证高可用，除了在 hadoop001 上部署主?Master?服务外，还在 hadoop002 和 hadoop003 上分别部署备用的?Master?服务，Master 服务由 Zookeeper 集群进行协调管理，如果主?Master?不可用，则备用?Master?会成为新的主?Master。 2 前置条件 搭建 Spark 集群前，需要保证 JDK 环境、Zookeeper 集群和 Hadoop 集群已经搭建. 3 Spark集群搭建 3.1 下载解压 下载所需版本的 Spark，官网下载地址： /downloads.html 下载后进行解压，命令如下： tar -zxvf spark-2.2.3-bin-hadoop2.6.tgz 3.2 配置环境变量 配置/etc/profile文件，命令如下 vim /etc/profile 添加环境变量，配置如下： export SPARK_HOME=/usr/app/spark-2.2.3-bin-hadoop2.6 export PATH=${SPARK_HOME}/bin:$PATH 使得配置的环境变量立即生效，命令如下： source /etc/profile 3.3 集群配置 进入?${SPARK_HOME}/conf?目录，拷贝配置样本进行修改： 3.3.1 spark-env.sh Spark-env.sh配置内容如下： cp spark-env.sh.template spark-env.sh # 配置JDK安装位置 JAVA_HOME=/usr/java/jdk1.8.0_201 # 配置hadoop配置文件的位置 HADOOP_CONF_DIR=/usr/app/hadoop-2.6.0-cdh5.15.2/etc/hadoop # 配置zookeeper地址 SPARK_DAEMON_JAVA_OPTS=-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=hadoop001:2181,hadoop002:2181,hadoop003:2181 -Dspark.deploy.zookeeper.dir=/spark 3.3.2 slaves 配置从节点，需要将slaves.template复制并命名为slaves,然后编辑该文件，配置从节点主机名，命令如下 cp slaves.template slaves vi slaves #配置所有 Woker 节点的位置,将从节点主机名添加上去 hadoop001 hadoop002 hadoop003 3.3.3 安装包分发 将 Spark 的安装包分发到其他服务器，分发后建议在这两台服务器上也配置一下 Spark 的环境变量。命令如下： scp -r /usr/app/spark-2.4.0-bin-hadoop2.6/ hadoop002:usr/app/ scp -r /usr/app/spark-2.4.0-bin-hadoop2.6/ hadoop003:usr/app/ 4 启动集群 4.1 启动ZooKeeper集群 分别到三台服务器上启动 ZooKeeper 服务，命令如下： zkServer.sh start 4.2 启动Hadoop集群 命令如下： # 启动dfs服务 start-dfs.sh # 启动yarn服务 start-yarn.sh 4.3 启动Spark集群 进入 hadoop001 的?${SPARK_HOME}/sbin?目录下，执行下面命令启动集群。执行命令后，会在 hadoop001 上启动?Maser服务，会在?slaves?配置文件中配置的所有节点上启动?Worker?服务，命令如下 start-all.sh 分别在 hadoop002 和 hadoop003 上执行下面的命令，启动备用的?Master?服务： # ${SPARK_HOME}/sbin 下执行 start-master.sh 4.4 查看服务 查看 Spark 的 Web-UI 页面，端口为?8080。此时可以看到 hadoop001 上的 Master 节点处于?ALIVE?状态，并有 3 个可用的?Worker?节点，如图1所示： 图1 Spark集群节点存活数 而 hadoop002 和 hadoop003 上的 Master 节点均处于?STANDBY?状态，没有可用的?Worker?节点，如图2所示： 图2 从节点状态 5 验证集群高可