常见的InputFormat派生类.PPTVIP

陈 辉 2016年4月 -- InputFormat MapReduce工作流程 1、MapReduce流程图 Split-1 Split-2 Split-3 Split-n Recorder-1 Recorder-2 Recorder-3 Recorder-1 Recorder-2 Recorder-3 InputFormat OutputFormat MapReduce工作流程 Hadoop中的Map Reduce框架依赖InputFormat提供数据，依赖OutputFormat输出数据，每一个Map Reduce程序都离不开它们。 Map在处理文件之前，InputFormat接口的getSplits方法会将文件划分切割成为若干个可序列化的split。 一般大多数的split与HDFS中的block大小相同，都为64M，这样做的好处是使得Map可以在存储有当前数据的节点上运行本地的任务，而不需要通过网络进行跨节点的任务调度。 MapReduce工作流程 如果一个split大于一个block的时候，那么部分数据很可能存储在别的节点上，处理的时候必然会通过网络跨节点数据传输，则Map无疑是增加了等待时间从而降低了Map处理效率。 如果一个split小于block的时候，那么会对当前节点block容量的浪费，同时是增加了split的个数，Map对split进行计算并且上报结果，关闭当前计算打开新的split均需要耗费资源，这样也降低了Map处理效率。 MapReduce工作流程 一个大文件一般要划分为若干个split，因此，处理一个split的时间远远小于处理整个文件的时间。 根据木桶效应，整个Map处理的速度则是由群集中所有运行map节点的最慢的那个节点决定。 如果将splits分成较为细粒度的数据大小，而同时对不同的节点计算机根据其速度分配splits个数，可以获得更好的负载均衡。 InputFormat主要功能 InputFormat主要用于描述输入数据的格式，它提供以下两个功能 数据切分：按照某个规则策略将输入的数据切分成若干个split，以便确定Map Task的个数以及对应的split 为Mapper提供输入数据：给定某个split，能将其解析成一个个的key/value对 InputFormat主要功能 inputFormat包含两个方法 InputSplit[] getSplits(JobConf job,int numSplits) throws IOException RecordReaderk,v getRecordReader(InputSplit split,JobConf job,Reporter reporter) throws IOException; InputFormat主要功能 getSplits主要完成数据的切分功能，它将输入的数据切分成numSplits个inputSplit。inputSplit有两个特点 逻辑切分：它在逻辑上切分输入数据，但不会在磁盘上将其切分存储，InputSplit只记录切分之后分片的元数据信息，比如起始位置长度以及所在节点列表等 可序列化：作业提交到JobTracker之前，Client会调用InputFormat中的getSplits方法，得到InputSplit并将其序列化到文件中。当JobTracker对提交上来的作业初始化的时候可以直接读取该文件，然后解析所有的InputSplit并且创建MapTask InputFormat主要功能 getRecordReader方法返回一个RecordReader对象，该对象将输入的InputSplit解析成若干个key/value对； MapReduce框架在Map Task执行过程中，会不断地调用RecordReader对象中的方法，迭代获取key/value对并交给map函数处理。 InputFormat类层次结构图 Hadoop提供了一系列InputFormat方便开发。 TextInputFormat?作为默认的文件输入格式，用于读取纯文本文件，文件被分为一系列以LF或者CR结束的行，key是每一行的位置偏移量，是LongWritable类型的，value是每一行的内容，为Text类型。 基类FileInputFormat 基类FileInputFormat最重要的功能是为各种InputFormat提供统一的getSplits函数。该函数实现中最核心的两个算法是文件切分算法和host选择算法。 （1）文件切分算法 （2）host选择算法 基类FileInputFormat （1）文件切分算法 文件切分算法主要用于确定InputSplit的个数以及每个Input