Hadoop入门教程(四)MR作业的提交监控输入输出控制及特性使用-北京尚学堂.docVIP

HYPERLINK / \o 北京尚学堂-专业java培训,ios培训,架构师培训,大数据培训机构北京尚学堂-cctv央视网广告合作伙伴，专业IT培训机构,口碑最好的java培训、iOS培训、android培训、hadoop大数据培训、web前端培训机构，0元入学，先就业后付款，平均就业薪水9500以上   HYPERLINK / 北京尚学堂提供 上次课讲到 HYPERLINK /view/fbac429e2e3f5727a4e96269 MR重要运行参数，本次继续为大家讲解 HYPERLINK /tag/mapreduce \t _blank MapReduce相关 提交作业并监控  HYPERLINK /common/docs/r0.23.6/api/org/apache/hadoop/mapred/JobClient.html \t _blank JobClient是用户作业与JobTracker交互的主要接口，它提供了提交作业，跟踪作业进度、访问任务报告及logs、以及获取MR集群状态信息等方法。 提交作业流程包括： 检查作业的输入输出 计算作业的输入分片(InputSplit) 如果需要，为DistributedCache设置必须的账户信息 将作业用到的jar包文件和配置信息拷贝至文件系统（一般为HDFS）上的MR系统路径中 提交作业到JobTracker，并可监控作业状态 作业历史(Job History)文件会记录在hadoop.job.history.user.location指定的位置，默认在作业输出路径下的logs/history/路径下。因此历史日志默认在mapred.output.dir/logs/history下。用户可以将hadoop.job.history.user.location值设置为none来不记录作业历史。 使用命令来查看历史日志: 1$hadoop job -history output-dir上面命令会显示作业的详细信息、失败的被kill的任务（tip）的详细信息。使用下面命令可以查看作业更详细的信息： 1$hadoop job -history all output-dir可以使用 HYPERLINK /common/docs/r0.23.6/api/org/apache/hadoop/mapred/OutputLogFilter.html \t _blank OutputLogFilter从输出路径中过滤日志文件。 一般，我们创建应用，通过JobConf设置作业的各种属性，然后使用JobClient提交作业并监控进度。 作业控制 有时可能需要一个作业链完成复杂的任务。这点是可以轻松实现的，因为作业输出一般都在分布式文件系统上，作业输出可以当做下个作业的输入，这样就形成了链式作业。 这种作业成功是否依赖于客户端。客户端可以使用以下方式来控制作业的执行：  HYPERLINK /common/docs/current/api/org/apache/hadoop/mapred/JobClient.html \t _blank runJob(JobConf):提交作业并仅在作业完成时返回  HYPERLINK /common/docs/current/api/org/apache/hadoop/mapred/JobClient.html \t _blank submitJob(JobConf):提交作业后立即返回一个 HYPERLINK /common/docs/current/api/org/apache/hadoop/mapred/RunningJob.html \t _blank RunningJob的引用，使用它可以查询作业状态并处理调度逻辑。  HYPERLINK /common/docs/current/api/org/apache/hadoop/mapred/JobConf.html \t _blank JobConf.setJobEndNotificationURI(String):设置作业完成时通知 你也可以使用 HYPERLINK /cdh4/cdh/4/oozie/ \t _blank Oozie来实现复杂的作业链。 作业输入 下面讲作业输入的内容。 HYPERLINK /common/docs/r0.23.6/api/org/apache/hadoop/mapred/InputFormat.html \t _blank InputFormat?描述MR作业的输入信息。InputFormat有以下作用: 验证作业的输入信息 将输入文件拆分为逻辑上的输入分片(InputSplit)