Hadoop大数据技术与项目实战 实训指导书——2.3.4 YRAN集群配置.pdf

山西职业技术学院《Hadoop大数据技术与项目实战》

YARN集群配置

一、任务描述

本任务是配置并启动YARN集群，node1节点将运行ResourceManager、NodeMa

nager2个服务，node2节点运行NodeManager1个服务，node3节点运行NodeMa

nager1个服务。

二、能力目标

1.能够正确配置YARN集群

2.对Hadoop集群进行测试

三、任务准备

1.启动node1、node2、node3三台虚拟机

2.启动HDFS服务

3.Notepad++软件

四、任务实施

1.配置YARN相关文件

使用Notepad++软件连接node1节点，进入到/opt/module/hadoop-3.3.0/etc/had

oop目录，双击打开yarn-site.xml配置文件，将以下内容添加至configuration与/

configuration标签之间，配置好后单击“保存”图标。

property

nameyarn.nodemanager.aux-services/name

valuemapreduce_shuffle/value

description需要被设置Shuffle服务的MapReduce应用程序/description

/property

property

1

山西职业技术学院《Hadoop大数据技术与项目实战》

nameyarn.resourcemanager.hostname/name

valuenode1/value

descriptionresourcemanager服务运行节点/description

/property

property

nameyarn.nodemanager.env-whitelist/name

valueJAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HAD

OOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_

MAPRED_HOME/value

description环境变量通过从NodeManagers的容器继承的环境属性：

对于mapreduce应用程序，除了默认值hadoopop_mapred_home应该被添加

外。属性值还有JAVA_HOMEHADOOP_COMMON_HOME、HADOOP_HDFS_HOME

HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME

HADOOP_MAPRED_HOME

/description

/property

property

nameyarn.nodemanager.pmem-check-enabled/name

valuefalse/value

description是否启动一个线程检查每个任务正使用的物理内存量，如果任务

超出分配值，则直接将其杀掉，默认是true/description

/property

property

nameyarn.nodemanager.vmem-check-enabled/name

valuefalse/value

description是否启动一个线程检查每个任务正使用的虚拟内存量，如果任务

超出分配值，则直接将其杀掉，默认是true/description

/property

property

nameyarn.application.classpath/name

value/opt/module/hadoop-3.3.0/etc/hadoop:/opt/m