Hadoop平台简介_肖韬南京大学计算机系.pptVIP

* * * * * * * * * * * * * * * * * * * * * * * * * * * * * * Input Format map: (k1, v1) ? list(k2, v2) combine: (k2, list(v2)) ? list(k2, v2) reduce: (k2, list(v2)) ? list(k3, v3) 可以看出，如果使用combiner，那么它的输入/输出格式与reducer是完全一样的（同时也是Reducer的子类）,只不过combiner的输出是intermediate key-value pairs(这将是reducer的输入)。 Input types由Input format决定，例如TextInputFormat决 定了输入的key的类型是LongWritable(首字符在文件中的偏移量)，value的类型是Text(一行文本内容). 如果希望产生其他类型的输入，可以显式地调用JobConf 的方法。否则，若不显式地(set explicitly)设置，则不论是否使用combiner, intermediate types默认与最终的输出类型相同(即LongWritable与Text)。 所以，若k2和k3相同，则不需要调用setMapKeyOutputClass()，因为intermediate key type已经被setOutputKeyClass()设置好了。同理，若v2和v3相同，则只需要调用setOutputValueClass()即可。 为什么要为intermediate key-value pairs和最终的output指定类型？ 似乎通过mapper与reducer就可以确定intermediate key-value pairs和最终的output的类型了。 原因：Java的泛型机制中的type erasure使得这些类型信息在运行时是不可知的，所以必须显式地为Hadoop指定这些类型。 InputFormat class hierarchy Input Split 什么是 input split? 1个input split是input file中的1个chunk，该chunk将被1个单独的map进行处理。每一个map处理一个input split. 每一个split可被划分为若干records，1个record即1个key-value pair，map依次处理每一个record. Input split由一个Java 抽象类代表，即 org.apache.hadoop.mapreduce; abstract class InputSplit InputSplit represents the data to be processed by an individual mapper. Typically, it presents a byte-oriented view on the input and is the responsibility of RecordReader of the job to process this and present a record-oriented view. 注意，InputSplit并不包含input data，而只是指向input data的一个reference。 Map/Reduce系统利用 getLocations()所得到的storage locations信息来将map tasks放置在尽可能靠近input split数据的地方；利用getLength()得到的size信息对splits进行排序，使得最大的spilt先被处理，试图来最小化job的运行时间。 Input file, input split and record input file Input split record key-value pair MapReduce应用程序开发者不需要直接处理InputSplit， 因为它是由一个InputFormat生成的。InputFormat负责生成 input splits，并把它们划分为records. public abstract class InputFormatK, V { // 0.20.0 版本 /* Logically split the set of input files for the job. * Each InputSplit is then assigned to an individual Mapper for processing. * Note: The split