Hadoop数据怎样分片.pdfVIP

下载本文档

4
0
约9.34千字
约 10页
2017-09-18 发布于北京
举报
版权申诉

Hadoop数据怎样分片.pdf

1、本文档共10页，可阅读全部内容。
2、原创力文档（book118）网站文档一经付费（服务费），不意味着购买了该文档的版权，仅供个人/单位学习、研究之用，不得用于商业用途，未经授权，严禁复制、发行、汇编、翻译或者网络传播等，侵权必究。
3、本站所有内容均由合作方或网友上传，本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺！文档内容仅供研究参考，付费前请自行鉴别。如您付费，意味着您自己接受本站规则且自行承担风险，本站不退款、不进行额外附加服务；查看《如何避免下载的几个坑》。如果您已付费下载过本站文档，您可以点击这里二次下载。
4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等，请点击“版权申诉”（推荐），也可以打举报电话：400-050-0827(电话支持时间：9:00-18:30)。
5、该文档为VIP文档，如果想要下载，成为VIP会员后，下载免费。
6、成为VIP后，下载本文档将扣除1次下载权益。下载后，不支持退款、换文档。如有疑问请联系我们。
7、成为VIP后，您将拥有八大权益，权益包括：VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
8、VIP文档为合作方或网友上传，每下载1次，网站将根据用户上传文档的质量评分、类型等，对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档

青灯系列(1001) Hadoop 数据如何分片 Hadoop 数据如何分片 Hadoop 版本:1.0.3 作者：青灯 E-mail:1350540904@ 青灯版本本文版本版本备注完成时间 1001 1.0 第一版 2012.9.25 第 1 页共 10 页青灯系列(1001) Hadoop 数据如何分片目录 1 前言3 2 INPUTFORMAT 的基本思想3 3 数据分片的一个详细例子3 3.1 INPUTFORMAT 类3 3.2 INPUTSPLIT 类5 3.3 RECORDREADER 类6 3.4 写一个MAPPER 类来使用这个自定义的INPUTFORMAT 8 3.5 写一个MAPREDUCER 类测试下8 3.6 测试结果 10 第 2 页共 10 页青灯系列(1001) Hadoop 数据如何分片 1 前言青灯照壁人初睡，冷雨敲窗被未温。码农这一行，本就已经这样凄凄惨惨戚戚。还要相互之间设置技术壁垒，不是更加自虐么？希望我的青灯系列能够激起一丁点的效果，让技术的交流能够更畅通一些。编辑这个青灯系列，还有两点私心：其一，希望逼着自己整理思路；其二，更希望朋友们对青灯系列中，错误纰漏之处给予指正。不甚感激！ 2 InputFormat 的基本思想 Hadoop 使用这个抽象类来将输入的数据逻辑分成多个部分。并提供了一个读取各个逻辑分片数据的RecordReader 对象。 InputFormat 有两个方法：（1） ListInputSplit getSplits(JobContext context) 负责将一个大数据逻辑分成多片。比如数据库表有 100 条数据，按照主键ID 升序存储。假设每20 条分成一片，那么这个List 的大小就是5，然后每个InputSplit 记录两个参数，第一个为这个分片的起始ID，第二个为这个分片数据的大小，这里是20 。很明显InputSplit 并没有真正存储数据。只是提供了一个如何将数据分片的方法（2 ）RecordReaderK,V createRecordReader(InputSplit split, TaskAttemptContext context) 根据 InputSplit 里定义的分片方法，返回一个能够读取分片记录的 RecordReader 。 3 数据分片的一个详细例子 3.1 InputFormat 类 package ps.qingdeng.hadoop.inputformat; import java.io.IOException; import java.util.ArrayList; 第 3 页共 10 页青灯系列(1001) Hadoop 数据如何分片 import java.util.List; import org.apache.hadoop.mapreduce.InputFormat; import org