Hadoop大数据开发基础Hadoop MapReduce高级编程.pdf

Hadoop大数据开发基础 2022/9/3 目录 1 MapReduce输入输出格式 2 HadoopJavaAPI 3 自定义键值对 4 biner,Partitioner,计数器 5 Eclipse提交MapReduce任务 2 HadoopMapReduce–输入格式 3 HadoopMapReduce–输入格式 4 HadoopMapReduce–输入格式（常用） 输入格式 描述 键类型 值类型 TextInputForm 默 认 格 式 ,读 行 地 字 节 偏 移 量 行 地 内 容 at 取文件地行 （ LongWriable （Text） ） SequenceFileIn Hadoop定义 用户自定义   putFormat 地高性能二进 制格式 KeyValueInput 把行解析为键 第 一个 tab字符前 行 剩 下 地 Format 值对 地 所 有 字 符 内 容 （Text） （Text） 5 HadoopMapReduce——Hadoop序列化特点 Ø紧凑:高效使用存储空间。 Ø快速:读取数据地额外开销小。 Ø可扩展:可透明地读取老格式地数据。 Ø互操作:可以使用不同地语言读/写永久存储地数据。 6 HadoopMapReduce——设置输入格式 1.设置MapReduce地输入格式是在驱动类中通过Job对象地 ()方法来设定 2.输入格式是TextInputFormat地时候驱动类可以不设置输入格式 job.setInputFormatCla (SequenceFileAsTextIn putFormat.cla ); 7 HadoopMapReduce–输出格式