spark_集群安装与简单测试.docx

Spark集群安装1. 确保服务器已安装jdk若没有安装，请参照相应的文档安装。本次安装使用的jdk版本：jdk1.6.0_312. 安装 Scala 2.11.2Spark 1.2.1 依赖 Scala 2.11.2, 我们必须要安装Scala 2.11.2.上传scala-2.11.2.tgz到服务器，?并保存到home目录.1、解压scala压缩包： $ tar -zxf scala-2.11.2.tgz2、root权限将压缩包传到/usr/lib目录下： $ sudo mv scala-2.11.2 /usr/lib3、编辑/etc/profile文件， $ sudo vim /etc/profile 增加系统参数：export SCALA_HOME=/usr/lib/scala-2.11.2export PATH=$PATH:$SCALA_HOME/bin:$JAVA_HOME/binexport JAVA_HOME=/usr/jdk64/jdk1.6.0_31 4、source /etc/profile文件，使环境变量生效； $ source /etc/profile5、测试下scala安装是否成功 $ scala -version 若有如下信息展示，表示scala安装成功：Scala code runner version 2.11.2 -- Copyright 2002-2013, LAMP/EPFL3. 安装spark3.1在master上安装并配置Spark上传spark-1.2.1-bin-hadoop2.4.tgz至服务器，解压:$ tar -zxf spark-1.2.1-bin-hadoop2.4.tgz创建一个spark目录，将解压后的目录上传到spark目录中：$ mkdir /home/spark$ mv spark-1.2.1-bin-hadoop2.4 /home/spark设置环境变量:$ vim /home/spark/.bash_profile增加如下参数：export SPARK_HOME=/home/spark/spark-1.2.1-bin-hadoop2.4export CLASS_PATH=.:${JAVA_HOME}/lib:${JRE_HOME}/libexport PATH=$PATH:${SPARK_HOME}/bin:${SCALA_HOME}/bin:${JAVA_HOME}/bin保存后退出#source下.bash_profile。$ source /home/spark/.bash_profile把spark-env.sh.template重命名成spark-env.sh$ cd /home/spark/spark-1.2.1-bin-hadoop2.4/conf$ mv spark-env.sh.template spark-env.sh在spark-env.sh中增加如下参数：$ vim spark-env.sh# 插入如下参数：export SCALA_HOME=/usr/lib/scala-2.11.2 --scala安装目录export JAVA_HOME=/usr/jdk64/jdk1.6.0_31--jdk目录export SPARK_MASTER_IP=28 export SPARK_WORKER_MEMORY=2g export HADOOP_HOME=/usr/lib/Hadoop --指定hadoop的安装目录export YARN_CONF_DIR=$HADOOP_HOME/etc/hadoop/ --指定yarn配置文件目录export SPARK_CLASSPATH=$SPARK_CLASSPATH:/usr/lib/hive/lib/mysql-connector-java-5.1.31-bin.jar --指定mysql的jar。为sparkSQL使用其中：SPARK_MASTER_IP为master的ip，SPARK_WORKER_MEMORY为worker节点占用的内存 # 保存退出在/conf/slaves文件中添加Spark worker的hostname, 一行一个。$ vim slavesyudong1yudong2yudong3# 保存退出将hive的配置文件：hive-site.xml复制到spark的conf目录下；Spark的详细配置文件为spark-defaults.conf。可以通过该文件更改spark的默认配置；3.2在所有worker上安装并配置Spark在其他worker节点安装scala和spark，配置参数同上面；注意，三台机器spark所在目录必须一致，因为master会登陆到wor