阿里首席工程师测试面试题库.docVIP

阿里首席工程师IT大数据技术测试题 Spark学习------CentOS环境spark安装  [root@spark-master ~]# source /etc/profile ? 　　二、hadoop分布式安装与配置 　　　　1.安装与配置 　　　　把下载的安装包拷贝到服务器上，并解压到安装目录，通常应该对解压出来的文件夹重命名的，便于后面配置，我这里就偷懒直接用解压后的文件名。 　　　　然后切换到conf目录下看到有一些模板文件，我们把其中带spark-env.sh.template 、spark-defaults.conf.template和slaves.template的文件进行复制并重命名（主要是把后面的template后缀去掉），然后修改里面的内容。 #解压安装包到安装目录[root@spark-master ~]# tar -xvf /opt/spark/spark-2.3.2-bin-hadoop2.7.tgz -C /opt/spark/ [root@spark-master ~]# cd /opt/spark/spark-2.3.2-bin-hadoop2.7/ [root@spark-master spark-2.3.2-bin-hadoop2.7]# cd conf#拷贝slaves和spark-env.sh文件 [root@spark-master conf]# cp slaves.template slaves [root@spark-master conf]# cp spark-env.sh.template spark-env.sh [root@spark-master conf]# vim slaves#修改slaves配置文件如下spark-slave1spark-slave2[root@spark-master conf]# vim spark-env.sh#修改spark-env.sh配置文件如下export JAVA_HOME=/usr/java/jdk1.8.0_152export SCALA_HOME=/opt/scala/scala-2.12.7export HADOOP_HOME=/opt/hadoop/hadoop-2.8.5export HADOOP_CONF_DIR=/opt/hadoop/hadoop-2.8.5/etc/hadoop ? #定义管理端口 ? export SPARK_MASTER_WEBUI_PORT=8066 ? #定义master域名和端口 ? export SPARK_MASTER_HOST=spark-master ? export SPARK_MASTER_PORT=7077 ? #定义master的地址slave节点使用 ? export SPARK_MASTER_IP=spark-master ? #定义work节点的管理端口.work节点使用 ? export SPARK_WORKER_WEBUI_PORT=8077 ? #每个worker节点能够最大分配给exectors的内存大小 ? export SPARK_WORKER_MEMORY=4g ? #拷贝spark-defaults.conf配置文件 　[root@spark-master conf]#?cp?spark-defaults.conf.template spark-defaults.conf ??[root@spark-master conf]# vim spark-defaults.conf ? #修改spark-default.conf配置文件如下 ? spark.eventLog.enabled=true ? spark.eventLpress=true ? #保存在本地 ? #spark.eventLog.dir=file://usr/local/hadoop-2.8.5/logs/userlogs? #spark.history.fs.logDirectory=file://usr/local/hadoop-2.8.5/logs/userlogs ? ? #保存在hdfs上 ? spark.eventLog.dir=hdfs://spark-master:9000/tmp/logs/root/logs? spark.history.fs.logDirectory=hdfs://spark-master:9000/tmp/logs/root/logs? spark.yarn.historyServer.address=spark-master:18080 　　　　注意：在修改slaves文件的时候里面默认有个