《Hadoop入门教程三 MR重要运行参数-北京尚学堂.docVIP

北京尚学堂提供 上次课讲到MapReduce用户编程接口，本次继续为大家讲解MapReduce相关 Job Configuration JobConf是MR任务的配置对象，也是描述MR任务在Mapreduce框架中如何执行的主要途径，框架将如实的以该对象包含的信息来执行MR任务，但要注意以下特殊情况： 一些配置参数被管理员在hadoop相关配置文件中(比如core-site.xml,mapred-site.xml)设置为final，则不能被任务参数值改变。 有一些参数通过方法可以直接设定，如通过setNumReduceTasks(int)等设定。但是一些其他参数和框架内部、任务配置有更复杂的关系，所以设定更为复杂，比如要通过setNumMapTasks(int)来进行设定。 最典型的，JobConf一般应用在确定Mapper、Combiner(如果使用的话)、Partitioner、Reducer、InputFormat、OutputFormat以及OutputCommitter的实现类上。JobConf也可以用来通过setInputPaths(JobConf, Path…)/?addInputPath(JobConf, Path),或者setInputPaths(JobConf, String)/addInputPaths(JobConf, String)指定输入路径集合，通过s