spark搭建手册.docxVIP

Hadoop+Spark 大数据集群环境 配置集群的准备，文件包如下图： 分布式机器如下： SparkMaster 192.168.35.129 Ubuntu12.x SparkWorker1 192.168.35.130 Ubuntu12.x SparkWorker 2 192.168.35.131 Ubuntu12.x 配置linux 环境 配置linux登录时可以使用root账户 配置/etc/hostname，修改主机名SparkMaster，工作机为SparkWorker1、SparkWorker2，重启生效 配置/etc/hosts ，如下图 配置三台机器SSH无密码登录 安装java环境，安装到/usr/lib/java目录，配置环境变量，验证成功，如下图 安装hadoop 将hadoop安装到 /usr/local/hadoop目录，配置环境变量 在$HADOOP_HOME 下，按照下图操作创建目录，如下图 进入$HADOOP_HOME目录，对配置文件进行如下图配置，如下图 首先，修改hadoop-env.sh，JAVA_HOME=我们java安装目录，如下图 然后，修改yarn-env.sh, JAVA_HOME=我们java安装目录，如下图 然后，修改mapred-env.sh, JAVA_HOME=我们java安装目录，如下图 然后，修改slaves文件，将客户机填写到文件中，如下图 然后，修改core-site.xml，填写如图配置，如下图 然后，修改hdfs-site.xml,填写如图配置，如下图 然后，复制一份mapred-site.xml.template 为mapred-site.xml，如下图 然后，修改yarn-site.xml,填写如图配置，如下图 最后，将SparkMaster操作，同步到SparkWorker1和SparkWorker2上 启动hadoop 首先，收入hadoop namenode –format，如下图 然后，启动hdfs文件系统，如下图 可以验证是否成功，使用jps命令，master有3个进程，worker2有两个进程，如下图 同时登录hdfs文件系统web界面查看配置情况，如下图 然后，启动yarn集群，如下图 进行验证，使用jps命令，如下图 最后，验证hadoop分布式集群 在hdfs上，创建两个文件夹，如下图 登录，hdfs的web界面，进行查看，如下图 安装scala 安装到 /usr/lib/scala目录下，配置环境变量，验证如下图 所有分布式集群都需要安装。 安装spark 安装到 /usr/local/spark目录，配置环境变量 修改spark配置文件，进入$SPARK_HOME/conf目录 修改slaves文件，如下图 复制spark-env.sh.template 到spark-env.sh ，并对其进行修改，如下图 启动spark集群，进入sbin目录，启动start-all.sh 如下图 启动后，jps命令，进程列表中会多出一个master进程，同样工作机 ,如下图 到这里spark集群已经启动，我们可以登录web，进行验证 进入bin 目录，启动spark-shell ，如下图 测试验证，spark集群这里不多做介绍，能成功启动spark-shell，基本可以认为集群配置成功。