spark1.3.1+hive1.2.1+MySQL 集群安装.docx

Spark1.3.1+hive1.2.1+mysql集群安装本文基于Spark1.3.1，介绍一下Spark基于hadoop-2.6.0的安装配置和简单使用。我是在一台机器上完成了Spark的部署，其实也是集群，只不过Master和Slave都在一台机器上。如果是多台机器的集群部署，步骤完全一样，只不过多些Slave而已,修改slave文件。一、配置免密码ssh登陆因为Master和Slave处于一台机器，因此配置本机到本机的免密码ssh登陆，如有其他Slave，都需要配置Master到Slave的无密码ssh登陆。cd ~/ssh-keygen （一路回车）cd .ssh/cat id_rsa.pub authorized_keyschmod 600 authorized_keys环境需求下载并安装jdk-7u71-linux-x64.tar.gz安装命令：tar –zxvf jdk-7u71-linux-x64.tar.gz配置环境变量: vi /etc/profileexport JAVA_HOME=/usr/local/jdk1.7.0_71export PATH=.:$JAVA_HOME/bin:$PATH然后 source /etc/profile 生效如图所示下载并安装scala-2.9.3.tgz,建议换成2.10以上的版本安装命令:tar –zxvf scala-2.9.3.tgz 配置环境变量： vi /etc/profileexport SCALA_HOME=/opt/modules/scala-2.9.3export PATH=$PATH:$SCALA_HOME/bin然后 source /etc/profile 生效如图所示：下载编译好的Spark安装包，这里选择的是spark-1.3.1-bin-hadoop2.6.tgz，因为我的hadoop安装的是hadoop-2.6的版本。便于集成解压缩：tar –zxvf spark-1.3.1-bin-hadoop2.6.tgz解压后根目录为：/opt/modules/spark-1.3.1-bin-hadoop2.6配置环境变量： vi ~/.bash_profile export SPARK_HOME=/opt/modules/spark-1.3.1-bin-hadoop2.6 export PATH=.:$SPARK_HOME/bin:$PATH 然后 source /etc/profile 生效三、Spark配置1. 配置Spark环境变量Cd $SPARK_HOME/conf cp spark-env.sh.template spark-env.shvi spark-env.sh 添加以下内容：export JAVA_HOME=/usr/local/jdk1.7.0_71export HADOOP_HOME=/opt/ modules/hadoop-2.6.0export HADOOP_CONF_DIR=/etc/hadoop/confexport SCALA_HOME=/opt/modules/scala-2.9.3export SPARK_HOME/opt/modules/spark-1.3.1-bin-hadoop2.6export SPARK_MASTER_IP=74export SPARK_MASTER_PORT=7077export SPARK_PID_DIR=/var/run #pid##根据机器情况配置## 每个Worker使用的CPU核数export SPARK_WORKER_CORES=2 #每个Slave中启动几个Worker实例export SPARK_WORKER_INSTANCES=1 #每个Worker使用多大的内存export SPARK_WORKER_MEMORY=1G # 每个Executor使用使用的核数export SPARK_EXECUTOR_CORES=1 export SPARK_EXECUTOR_MEMORY=1G //每个Executor使用的内存如图所示：2. 配置Slavecp slaves.template slaves vi slaves 添加以下内容： localhost如果是集群安装配置好的profile文件复制到集群机器里面去把配置好的 spark-1.3.1-bin-hadoop2.6 文件复制到集群机器里去命令：scp spark-1.3.1-bin-hadoop2.6@DataNode1:/opt/softwore/四、启动Spark Mastercd $SPARK_HOME/sbin/ ./start-all.sh启动日志位于$SPARK_HOME/logs/