TDH大数据平台实验_04_YARN作业执行与管理.pdfVIP

平台认证数据工程师培训 课堂实验 一、基本信息 文档编号 文档版本 1.0 实验名称 YARN 作业执行和管理 所属课程 第4 讲 分布式资源管理框架YARN 认证等级 数据工程师 （初级） 授课形式 上机实验 实验批次 第4 次 / 共11 次 二、实验目的  掌握在YARN 上提交和执行作业。  掌握YARN 的作业管理命令。  理解YARN 的工作原理和作业执行过程。 三、实验准备  在本地新建wordcount.txt ，文件中输入若干单词，单词间用空格分隔。  实验目录规划（zhangsan 代表学员姓名） （1）本地目录：mnt/disk1/zhangsan ； （2 ）HDFS 作业输入目录：/tmp/zhangsan/wordcount_input ； （3 ）HDFS 作业输出目录：/tmp/zhangsan/wordcount_output 。 四、实验内容 1、上传作业输入文件  任务：将本地文件wordcount.txt 上传至HDFS 的作业输入目录中。  步骤 Linux ： // 将Hadoop 当前用户切换为yarn ，进行访问授权 1. export HADOOP_USER_NAME=yarn // 在HDFS 中创建作业输入目录 2. hadoop fs -mkdir /tmp/zhangsan/wordcount_input // 上传wordcount.txt 到作业输入目录 3. hadoop fs -put {wordcount.txt 本地文件路径} /tmp/zhangsan/wordcount_input 1 平台认证数据工程师培训 2、执行作业  任务：将Hadoop Mapreduce 样例程序hadoop-mapreduce-examples-2.7.2-transwarp-5.1.2.jar 的WordCount 作业提交给YARN ，并执行得出结果。  步骤 Linux ： // 切换目录 1. cd mnt/disk1/TDH-Client/hadoop/hadoop-mapreduce /* 向 YARN 提交并执行作业。wordcount 是 main 函数所在类的类路径， /tmp/zhangsan/wordcount_input 为作业输入目录，/tmp/zhangsan/wordcount_output 为 作业输出目录 */ 2. hadoop jar hadoop-mapreduce-examples-2.7.2-transwarp-5.1.2.jar wordcount /tmp/zhangsan/wordcount_input /tmp/zhangsan/wordcount_output 3、查看作业输出结果  任务：查看WordCount 作业的输出结果，先看输出目录是否创建，再看生成的输出文件是 否完成了词频统计。  步骤 Linux ： // 查看输出目录是否创建 1. hadoop fs -ls /tmp/zhangsan/wordcount_output // 查看输出文件内容 2. hadoop fs -cat /tmp/zhangsan/wordcount_output {wordcount_output_filename} 4、管理作业  任务：先向YARN 提交一个运行时间较长的tpcds 数据制造作业，再通过YARN 命令查 看、停止作业。  步骤 （1）运行tpcds 造数作业 Linux ： // 登录文件服务器，拷贝tpcds-5.x.tar.gz 到集群服务器