spark集群部署.docxVIP

概述 本文是对spark1.6.0分布式集群的安装的一个详细说明，旨在帮助实施人员按照本说明能够快速搭建并使用spark集群。软件版本Scala2.10.6。Spark-1.6.0-bin-hadoop2.6.tgz。 Java jre 1.7。注：spark依赖jre 和scala。行为计算的spark集群依赖hadoop集群，所以请先部署hadoop集群。安装前准备在每台机添加hosts（root用户）修改文件/etc/hosts,添加各节点IP和主机名映射。安装jre。安装jre。配置环境变量。验证安装是否成功，执行命令java -version查看java版本。安装scala安装Scala。配置环境变量：配置SCALA_HOME,值为安装后的scala home目录。配置PATH,添加上$SCALA_HOME/bin。3.验证安装是否成功，执行命令 scala -version，查看scala版本。配置SSH免密码登录集群各个节点之间最好配置免密码登录。集群的master节点到zookeeper集群节点配置免密码登录。SPARK安装解压安装包到安装目录。配置环境变量。配置SPARK_HOME,值为安装后的spark home目录。配置PATH,添加上$SPARK_HOME/bin。SPARK配置配置文件所在目录：spark home目录下conf目录下。配置运行时环境1.基于spark-env.sh.template复制出一份新文件spark-env.sh。2.修改spark-env.sh添加如下环境变量：export SPARK_DAEMON_JAVA_OPTS=-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=master:2181 -Dspark.deploy.zookeeper.dir=/sparkexport JAVA_HOME=/data/jdk7export SCALA_HOME=/data/scalaexport HADOOP_CONF_DIR=/data/hadoop-2.5.2/etc/hadoopexport SPARK_LOCAL_DIRS=/data/spark/tempdatas/spark_local_dirsexport SPARK_PID_DIR=/data/spark/tempdatas/spark_local_dirs/pid各个参数变量的含义见下表,请按实际值修改：SPARK_DAEMON_JAVA_OPTSspark.deploy.zookeeper.urlzookeeper主机名和端口号SPARK_DAEMON_JAVA_OPTSspark.deploy.zookeeper.dirzookeeper中存储spark元数据的目录SPARK_DAEMON_JAVA_OPTSjava.io.tmpdir临时io文件目录JAVA_HOMEJAVA_HOMEJava 安装目录SCALA_HOMESCALA_HOMEScala安装目录HADOOP_CONF_DIRHADOOP_CONF_DIRHadoop配置文件目录SPARK_LOCAL_DIRSSPARK_LOCAL_DIRSSpark运行时临时数据目录SPARK_PID_DIRSPARK_PID_DIRPid信息存储文件存放位置功能参数配置1.基于spark-defaults.conf.template复制出一份新的文件spark-defaults.conf2.修改spark-defaults.conf添加参数变量配置:spark.eventLog.enabled truespark.eventLog.dir hdfs://master:9000/spark/logsspark.history.fs.logDirectory hdfs://master:9000/spark/logsspark.deploy.retainedApplications 15spark.worker.cleanup.enabled erval 3600spark.executor.memory112gspark.driver.memory 5gspark.driver.maxResultSize 4gspark.serializerorg.apache.spark.serializer.KryoSwork.timeout300spark.logConf truespark.eventLpress truespark.shuffle.service.enabled truespark.rp