spark1.3.1+hive1.2.1+MySQL集群安装选读.docxVIP

Spark1.3.1+hive1.2.1+mysql集群安装 本文基于Spark1.3.1，介绍一下Spark基于hadoop-2.6.0的安装配置和简单使用。 我是在一台机器上完成了Spark的部署，其实也是集群，只不过Master和Slave都在一台机器上。如果是多台机器的集群部署，步骤完全一样，只不过多些Slave而已,修改slave文件。 一、配置免密码ssh登陆 因为Master和Slave处于一台机器，因此配置本机到本机的免密码ssh登陆，如有其他Slave，都需要配置Master到Slave的无密码ssh登陆。 cd ~/ ssh-keygen （一路回车） cd .ssh/ cat id_rsa.pub authorized_keys chmod 600 authorized_keys 环境需求 下载并安装jdk-7u71-linux-x64.tar.gz 安装命令：tar –zxvf jdk-7u71-linux-x64.tar.gz 配置环境变量: vi /etc/profile export JAVA_HOME=/usr/local/jdk1.7.0_71 export PATH=.:$JAVA_HOME/bin:$PATH 然后 source /etc/profile 生效 如图所示 下载并安装scala-2.9.3.tgz,建议换成2.10以上的版本 安装命令:tar –zxvf scala-2.9.3.tgz 配置环境变量： vi /etc/profile export SCALA_HOME=/opt/modules/scala-2.9.3 export PATH=$PATH:$SCALA_HOME/bin 然后 source /etc/profile 生效 如图所示： 下载编译好的Spark安装包，这里选择的是spark-1.3.1-bin-hadoop2.6.tgz，因为我的hadoop安装的是hadoop-2.6的版本。便于集成 解压缩：tar –zxvf spark-1.3.1-bin-hadoop2.6.tgz 解压后根目录为：/opt/modules/spark-1.3.1-bin-hadoop2.6 配置环境变量： vi ~/.bash_profile export SPARK_HOME=/opt/modules/spark-1.3.1-bin-hadoop2.6 export PATH=.:$SPARK_HOME/bin:$PATH 然后 source /etc/profile 生效 三、Spark配置 1. 配置Spark环境变量 Cd $SPARK_HOME/conf cp spark-env.sh.template spark-env.sh vi spark-env.sh 添加以下内容： export JAVA_HOME=/usr/local/jdk1.7.0_71 export HADOOP_HOME=/opt/ modules/hadoop-2.6.0 export HADOOP_CONF_DIR=/etc/hadoop/conf export SCALA_HOME=/opt/modules/scala-2.9.3 export SPARK_HOME/opt/modules/spark-1.3.1-bin-hadoop2.6 export SPARK_MASTER_IP=74 export SPARK_MASTER_PORT=7077 export SPARK_PID_DIR=/var/run #pid ##根据机器情况配置# # 每个Worker使用的CPU核数 export SPARK_WORKER_CORES=2 #每个Slave中启动几个Worker实例 export SPARK_WORKER_INSTANCES=1 #每个Worker使用多大的内存 export SPARK_WORKER_MEMORY=1G # 每个Executor使用使用的核数 export SPARK_EXECUTOR_CORES=1 export SPARK_EXECUTOR_MEMORY=1G //每个Executor使用的内存 如图所示： 2. 配置Slave cp slaves.template slaves vi slaves 添加以下内容： localhost 如果是集群安装 配置好的profile文件复制到集群机器里面去 把配置好的 spark-1.3.1-bin-hadoop2.6 文件复制到集群机器里去 命令：scp spark-1.3.1-bin-hadoop2.6@DataNode1:/opt/softwore/ 四、启动Spar