输入分片与记录.ppt

输入分片与记录

MapReduce的类型与格式 夏瑞仙 引言 MapReduce数据处理模型非常简单:map和reduce函数的输入和输出是键/值对(key/value pair)。 本章深入讨论MapReduce模型,重点介绍各种类型的数据(从简单文本到结构化的二进制对象)如何在MapReduce中使用 目录 MapReduce的类型 默认的MapReduce作业 输入格式 输入分片与记录 文本输入 二进制输入 多种输入 数据库输入(和输出) 输出格式 文本输出 二进制输出 多个输出 延迟输出 数据库输出 MapReduce的类型 map:(K1,V1) list(K2,V2) reduce:(K2,list(V2)) list(K3,V3) 一般来说,map函数输入的键/值的类型(K1和V1)不同于输出类型(K2和V2) reduce函数的输入类型必须与map函数的输出类型相同,但reduce函数的输出类型可以不同于输入类型 MapReduce的类型 map:(K1,V1) list(K2,V2) combine:(K2,list(V2)) list(K2,V2) redu

文档评论(0)

1亿VIP精品文档

相关文档