Spark1.2集群环境搭建〔StandaloneHA〕4G内存5个节点也是蛮拼的.docVIP

Spark1.2集群环境搭建(Standalone+HA) 4G内存5个节点也是蛮拼的 准备工作： 1、笔记本4G内存 ，操作系统WIN7 （屌丝的配置） 2、工具VMware Workstation 3、虚拟机：CentOS6.4共五台 4、搭建好Hadoop集群( 方便Spark可从HDSF上读取文件，进行实验测试) 实验环境： Hadoop HA集群： Ip hostname role 30 SY-0130 ActiveNameNode 31 SY-0131 StandByNameNode 32 SY-0132 DataNode1 33 SY-0133 DataNode2 Spark HA集群： Ip hostname role 34 SY-0134 Master 30 SY-0130 StandBy Master 31 SY-0131 worker 32 SY-0132 worker 33 SY-0133 worker 实验环境仅作学习用，4G内存确实蛮拼的，资源非常有限。下周换上几台台式机作集群。 上述SY-0134是新克隆的虚拟机，作为Spark的环境中的Master，原属于Hadoop集群中的4个节点分别作为StandByMaster 和 Worker角色。 关于虚拟机环境设置、网络配置、Hadoop集群搭建参见 XXX 。 本文重点关注Spark1.2环境、Zookeeper环境简易搭建，仅作学习与实验原型，且不涉及太多理论知识。 软件安装： (注：用户hadoop登录SY-0134) 在节点SY-0134，hadoop用户目录创建toolkit 文件夹，用来保存所有软件安装包，建立labsp文件作为本次实验环境目录。 [hadoop@SY-0134 ~]$ mkdir labsp [hadoop@SY-0134~]$ mkdir toolkit 我将下载的软件包存放在toolkit中如下 这次实验我下载的Spark包是spark-1.2.0-bin-hadoop2.3.tgz ，Scala版本是2.10.3，Zookeeper是3.4.6。这里需要注意的是，Spark和Scala有版本对应关系，可在Spark官网介绍中找到Spark版本支持的Scala版本。 3、JDK安装及环境变量设置 [hadoop@SY-0134 ~]$ mkdir lab #我将jdk7安装在lab目录 [hadoop@SY-0134 jdk1.7.0_71]$ pwd /home/hadoop/lab/jdk1.7.0_71 #环境变量设置： [hadoop@SY-0134 ~]$ vi .bash_profile #设置生效 [hadoop@SY-0130 ~]$ source .bash_profile Scala安装及环境变量设置 我将scala解压到/home/hadoop/labsp/scala-2.10.3位置。 修改.bash_profile文件 增加：export SCALA_HOME=/home/hadoop/labsp/scala-2.10.3 修改：PATH=$JAVA_HOME/bin:$PATH:$HOME/bin:$SCALA_HOME/bin #设置生效 [hadoop@SY-0130 ~]$ source .bash_profile 检验Scala是否安装好： [hadoop@SY-0134 ~]$ scala Welcome to Scala version 2.10.3 (Java HotSpot(TM) Client VM, Java 1.7.0_71). 上述显示安装成功。 Spark安装及环境配置 我将spark解压到/home/hadoop/labsp/spark1.2_hadoop2.3位置。下载的这个包是预编译包。 修改.bash_profile文件 增加：export SPARK_HOME=/home/hadoop/labsp/spark1.2_hadoop2.3 修改 PATH=$JAVA_HOME/bin:$PATH:$HOME/bin:$SCALA_HOME/bin:$SPARK_HOME/bin #设置生效 [hadoop@SY-0130 ~]$ source .bash_profile #修改spark-env.sh [hadoop@SY-