spark高可用集群(自动换方式)搭建手册.docxVIP

spark高可用集群搭建手册（版本）中国金融认证中心2018年02月06日版权声明：本文档的版权属于中国金融认证中心，任何人或组织未经许可，不得擅自修改、拷贝或以其它方式使用本文档中的内容文档修订记录本文档会随时保持更新，请与中国金融认证中心索要最新版本版本内容日期编写审核新增高可用配置2018/02/06王彤注：对该文件内容增加、删除或修改须填写此修订记录，详细记载变更信息，以保证其可追溯性。目录1Hadoop Cluster Setup12Zookeeper Setup13Spark Cluster Setup1Hadoop Cluster Setup参考《Hadoop高可用集群搭建手册》Zookeeper Setup下载zookeeper并解压修改ZOOKEEPER_HOME/PATH修改${ZOOKEEPER_HOME}/conf/zoo.cfg配置文件拷贝配置文件zoo.cfg到其他节点Spark Cluster Setup组件安装配置在每台服务器上的/etc/hosts文件中添加.9xfraud10xfraud24xfraud3配置机器之间无密码登陆.用户主目录/root/.ssh/下执行ssh-keygen –t rsa生成id_rsa.pub公钥然后执行cp id_rsa.pubauthorized.keys把authorized.keys拷贝到其他服务器上，执行chmod 600 authorized_keysJDK安装（1.7以上）下载jdk解压地址：/technetwork/java/javase/downloads/index.html添加环境变量export JAVA_HOME=/usr/local/jdk1.8.0_121PATH=$JAVA_HOME/bin:$PATHCLASSPATH=.:$JAVA_HOME/lib/rt.jarexport JAVA_HOME PATH CLASSPATH保存刷新配置source /etc/profilescala安装下载scala安装包scala-2.*.*.rpm安装(或下载scala-2.*.*.tar解压)执行rpm -ivh scala-2.*.*.rpm（tar -zxvfscala-2.*.*.tar）下载地址：/files/archive/添加Scala环境变量，在/etc/profile中添加Spark安装下载二进制包spark-2.*.*-bin-hadoop2.*.tgz地址：/downloads.html解压spark tar -zxvf spark-*.tgz添加环境变量修改配置文件$SPARK_HOME/conf/spark-env.sh设置主节点和节点基本信息scala安装目录，jdk目录，masterIp，工作内存，hadoop包地址，主机名，核心数。修改配置文件$SPARK_HOME/conf/slaves添加如下内容设置集群工作节点：基于zookeeper高可用配置在${SPARK_HOME}/conf/spark-env.sh中添加，zookeeper托管配置export SPARK_DAEMON_JAVA_OPTS=-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=xfraud1:2181,xfraud2:2181,xfraud3:2181 -Dspark.deploy.zookeeper.dir=/spark/spark-*-bin-hadoop*分发到其他节点master配置完成以后，将spark的整个包内容scp到另外三个节点上，从主节点SPARK_MASTER_HOST改为从主节点主机名，其他不需要修改任何配置项。?注意：因为按集群模式启动时，会按master上的路径去找spark。所以其他节点spark的路径需要跟master保持一致。?分发完成以后，去分别取另外三个节点执行spark-shell出现如下信息表示安装成功！启动spark高可用集群主节点xfraud1执行SPARK_HOME/sbin/start-all.sh备用主节点xfraud2执行SPARK_HOME/sbin/start-master.sh浏览器查看结果出现如下：测试高可用集群kill掉 xfraud1节点上的master?，xfraud2自动成为主节点。重启xfraud1节点，xfraud1成为备用主节点由此spark高可用集群已经搭建成功