Spark on yarn 集群搭建详细过程解析.docx

Spark on Yarn集群搭建详细过程由于最近学习大数据开发，spark作为分布式内存计算框架，当前十分火热，因此作为首选学习技术之一。Spark官方提供了三种集群部署方案： Standalone, Mesos, Yarn。其中 Standalone 为spark本身提供的集群模式，搭建过程可以参考官网，本文介绍Spark on Yarn集群部署过程。使用3台普通机器搭建Spark集群，软件环境：Ubuntu 16.04 LTSUbuntu 16.04 LTSCentOS7Scala-2.10.6Hadoop-2.7.2spark-1.6.1-bin-hadoop2.6Java-1.8.0_77硬件环境：一个Master节点Intel? Core? i5-2310 CPU @ 2.90GHz × 44G内存300G硬盘两个Slave节点Intel? Core? i3-2100 CPU @ 3.10GHz × 44G内存500G硬盘配置/etc/hosts及免密码登录本文下载安装的软件都放在 home 目录下。主机hosts文件配置在每台主机上修改host文件sudo vim /etc/hosts27fang-ubuntu1(Master)26fang-centos(Slave)25 fang-Lenovo(Slave)localhostlocalhost注：若此地未配置，或者未配置正确会导致集群启动不正常或者失败配置之后ping一下各机器名称检查是否生效，例如ssh fang@fang-centos。配置SSH 免密码登录如果没有安装ssh，需要安装Openssh server，命令为sudo apt-get install openssh-server。在所有机器上都生成私钥和公钥ssh-keygen -t rsa? #一路回车需要让机器间都能相互访问，就把每个机子上的id_rsa.pub发给master节点，传输公钥可以用scp来传输。scp ~/.ssh/id_rsa.pub fang@fang-ubuntu1:~/.ssh/id_rsa.pub.slave1在master上，将所有公钥加到用于认证的公钥文件authorized_keys中cat ~/.ssh/id_rsa.pub* ~/.ssh/authorized_keys将公钥文件authorized_keys分发给每台slavescp ~/.ssh/authorized_keys fang@fang-centos:~/.ssh/在每台机子上验证SSH无密码登录在终端中输入登录命令，例如：ssh fang@fang-centos 如果直接登录成功而不需要登录密码，则表示设置正确；如果登录不成功，即仍然需要登录密码，则可能需要修改文件authorized_keys的权限。注：.ssh 文件夹的权限必须为700，authorized_keys文件权限必须为600使用如下命令改变文件夹权限：chmod 600 ~/.ssh/authorized_keys安装 Java从官网下载最新版 Java，Spark官方说明 Java 只要是6以上的版本都可以，本文使用的是 jdk-8u91-linux-x64.tar.gz。在下载目录下直接解压tar -zcvf jdk-8u91-linux-x64.tar.gz并复制文件到/usr/lib/jvm中，命令如下： sudo cp -r jdk1.8.0_77 /usr/lib/jvm(如果没有jvm文件夹，则手动创建一个)，修改环境变量sudo vim /etc/profile，添加下列内容：export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_77export JRE_HOME=$JAVA_HOME/jreexport PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATHexport CLASSPATH=$CLASSPATH:.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib然后使环境变量生效，并验证 Java 是否安装成功$ source /etc/profile? #生效环境变量 $ java -version? ?#如果打印出如下版本信息，则说明安装成功安装 ScalaSpark官方要求 Scala 版本为 2.10.x，注意不要下错版本，我这里下了 2.10.6同样我们在~/中解压tar -zcvf scala-2.10.6.tar.gz再次修改环境变量sudo vim /etc/profile，添加以下内容：export SCALA_HOME=/home/fang/scala-2.10.6 export PATH=