认证数据工程师YARN实验.docxVIP

Yarn实验

1.在Linux本地文件系统手动构造文本文件，要求多行，各个单词以空格隔开，比如

2.上传到hdfs中对应的/tmp/bxu目录下（首先在hdfs中创建相应的目录，并确保该目录对当前用户有权限访问）

3.参考下面实例，向yarn提交一个MapReduce任务，目标目录要求不存在

#hadoopjar/usr/lib/hadoop-mapreduce/hadoop-extras-2.5.2-transwarp-tdh480.jar\

org.apache.hadoop.examples.WordCount/tmp/bxu/tmp/bxu/wordcount

4.查看MapReduce任务的输出结果（首先要判断是否生成了对应的结果目录，然后查看生成的结果文件是否已经进行了词频统计）

#hdfsdfs-ls...

#hdfsdfs-tail...

5.使用yarn命令对任务进行查看及停止

#yarnapplication-list

#yarnapplication-status{MR_PID}

#yarnapplication-kill{MR_PID}

6.按照如图所示，配置yarn的队列信息，添加自定义队列（确保子队列容量之和等于root父队列）

7.先保存更改，然后配置服务，最后重启yarn服务，查看