Sparkonyarn集群搭建详细过程.docxVIP

Spark on Yarn集群搭建详细过程由于最近学习大数据开发，spark作为分布式内存计算框架，当前十分火热，因此作为首选学习技术之一。Spark官方提供了三种集群部署方案： Standalone, Mesos, Yarn。其中 Standalone 为spark本身提供的集群模式，搭建过程可以参考官网，本文介绍Spark on Yarn集群部署过程。使用3台普通机器搭建Spark集群，软件环境：Ubuntu 16.04 LTSUbuntu 16.04 LTSCentOS7Scala-2.10.6Hadoop-2.7.2spark-1.6.1-bin-hadoop2.6Java-1.8.0_77硬件环境：一个Master节点Intel? Core? i5-2310 CPU @ 2.90GHz × 44G内存300G硬盘两个Slave节点Intel? Core? i3-2100 CPU @ 3.10GHz × 44G内存500G硬盘配置/etc/hosts及免密码登录本文下载安装的软件都放在 home 目录下。主机hosts文件配置在每台主机上修改host文件sudo vim /etc/hosts27fang-ubuntu1(Master)26fang-centos(Slave)25 fang-Lenovo(Slave)localhostlocalhost注：若此地未配置，或者