输入分片与记录.ppt

MapReduce的类型与格式 夏瑞仙 引言 MapReduce数据处理模型非常简单：map和reduce函数的输入和输出是键/值对（key/value pair）。 本章深入讨论MapReduce模型，重点介绍各种类型的数据（从简单文本到结构化的二进制对象）如何在MapReduce中使用 目录 MapReduce的类型 默认的MapReduce作业 输入格式 输入分片与记录 文本输入 二进制输入 多种输入 数据库输入（和输出） 输出格式 文本输出 二进制输出 多个输出 延迟输出 数据库输出 MapReduce的类型 map:(K1,V1) list(K2,V2) reduce:(K2,list(V2)) list(K3,V3) 一般来说，map函数输入的键/值的类型（K1和V1）不同于输出类型（K2和V2） reduce函数的输入类型必须与map函数的输出类型相同，但reduce函数的输出类型可以不同于输入类型 MapReduce的类型 map:(K1,V1) list(K2,V2) combine：(K2,list(V2)) list(K2,V2) redu