spark高可用集群(自动切换方式)搭建手册.pdfVIP

spark高可用集群搭建手册 （版本 ） 中国金融认证中心 2018 年 02 月 06 日 版权声明：本文档的版权属于中国金融认证中心，任何人或组织未经许可， 不得擅自修改、拷贝或以其它方式使用本文档中的内容 Hadoop 单节点和集群搭建手册（ ） 文档修订记录 本文档会随时保持更新，请与中国金融认证中心索要最新版本 版本 内容 日期 编写 审核 新增高可用配置 2018/02/06 王彤 注：对该文件内容增加、删除或修改须填写此修订记录，详细记载变更信息，以保证其可追溯性。 中国金融认证中心 Hadoop 单节点和集群搭建手册（ ） 目录 1 Hadoop Cluster Setup 1 2 Zookeeper Setup 1 3 Spark Cluster Setup 1 中国金融认证中心 I Hadoop 单节点和集群搭建手册（ ） 1 Hadoop Cluster Setup 参考《 Hadoop 高可用集群搭建手册》 2 Zookeeper Setup 1) 下载 zookeeper 并解压 2) 修改 ZOOKEEPER_HOME/PATH 3) 修改 ${ZOOKEEPER_HOME}/conf/zoo.cfg 配置文件 4) 拷贝配置文件 zoo.cfg 到其他节点 3 Spark Cluster Setup 3.1 组件安装配置 1) 在每台服务器上的 /etc/hosts 文件中添加 . 9xfraud1 0xfraud2 4xfraud3 2) 配置机器之间无密码登陆 . 用户主目录 /root/.ssh/ 下执行 ssh-keygen –t rsa 生成 id_rsa.pub 公钥 中国金融认证中心 1 Hadoop 单节点和集群搭建手册（ ） 然后执行 cp id_rsa.pubauthorized.keys 把 authorized.keys 拷贝到其他服务器上，执行 chmod 600 authorized_keys 3) JDK安装（ 1.7 以上） a) 下载 jdk 解压 地址： /technetwork/java/javase/downloads/index.html b) 添加环境变量 export JAVA_HOME=/usr/local/jdk1.8.0_121 PATH=$JAVA_HOME/bin:$PATH CLASSPATH=.:$JAVA_HOME/lib/rt.jar export JAVA_HOME PATH CLAS