Hadoop大数据开发与性能调优实战培训知识.ppt

文件输入格式InputFormat 定义了数据文件如何分割和读取 InputFile提供了以下一些功能 选择文件或者其它对象，用来作为输入 定义InputSplits, 将一个文件分为不同任务 为RecordReader提供一个工厂，用来读取这个文件 有一个抽象的类FileInputFormat，FileInputFormat从这个目录中读取所有文件，然后FileInputFormat将这些文件分割为多个InputSplits。 通过在JobConf对象上设置JobConf.setInputFormat设置文件输入的格式 输入数据分块InputSplits InputSplit定义了输入到单个Map 任务的输入数据 一个MapReduce程序被统称为 一个Job，可能有上百个任务构成 InputSplit将文件分为64MB的大 配置文件hadoop-site.xml中的mapred.min.split.size参数控制这个大小 mapred.tasktracker.map.taks.maximum用来控制某一个节点上所有map任务的最大数目 数据记录读入RecordReader InputSplit定义了一个数据分块，但是没有定义如何读取数据记录 RecordReader实际上定义了如何将数据记录转化为一个(key,value)对的详细方法，并将数据记录传给Ma