Hadoop数据如何分片.pdf

下载文档

68
0
约7.81千字
约 10页
2017-04-13 发布于江苏
举报
版权申诉
保障服务

Hadoop数据如何分片.pdf

1、本文档共10页，可阅读全部内容。
2、原创力文档（book118）网站文档一经付费（服务费），不意味着购买了该文档的版权，仅供个人/单位学习、研究之用，不得用于商业用途，未经授权，严禁复制、发行、汇编、翻译或者网络传播等，侵权必究。
3、本站所有内容均由合作方或网友上传，本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺！文档内容仅供研究参考，付费前请自行鉴别。如您付费，意味着您自己接受本站规则且自行承担风险，本站不退款、不进行额外附加服务；查看《如何避免下载的几个坑》。如果您已付费下载过本站文档，您可以点击这里二次下载。
4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等，请点击“版权申诉”（推荐），也可以打举报电话：400-050-0827(电话支持时间：9:00-18:30)。

Hadoop数据如何分片

青灯系列(1001) Hadoop数据如何分片第 1 页共 10 页 Hadoop数据如何分片 Hadoop版本:1.0.3 作者：青灯 E-mail:1350540904@ 青灯版本本文版本版本备注完成时间 1001 1.0 第一版 2012.9.25 青灯系列(1001) Hadoop数据如何分片第 2 页共 10 页目录 1 前言 ........................................................................................................................... 3 2 INPUTFORMAT 的基本思想 ................................................................................. 3 3 数据分片的一个详细例子 ....................................................................................... 3 3.1 INPUTFORMAT类 ................................................................................................ 3 3.2 INPUTSPLIT类 ..................................................................................................... 5 3.3 RECORDREADER类 ............................................................................................. 6 3.4 写一个 MAPPER类来使用这个自定义的 INPUTFORMAT ............................... 8 3.5 写一个 MAPREDUCER类测试下 ....................................................................... 8 3.6 测试结果 ........................................................................................................... 10 青灯系列(1001) Hadoop数据如何分片第 3 页共 10 页 1 前言青灯照壁人初睡，冷雨敲窗被未温。码农这一行，本就已经这样凄凄惨惨戚戚。还要相互之间设置技术壁垒，不是更加自虐么？希望我的青灯系列能够激起一丁点的效果，让技术的交流能够更畅通一些。编辑这个青灯系列，还有两点私心：其一，希望逼着自己整理思路；其二，更希望朋友们对青灯系列中，错误纰漏之处给予指正。不甚感激！ 2 InputFormat的基本思想 Hadoop 使用这个抽象类来将输入的数据逻辑分成多个部分。并提供了一个读取各个逻辑分片数据的 RecordReader对象。 InputFormat 有两个方法：（1） ListInputSplit getSplits(JobContext context) 负责将一个大数据逻辑分成多片。比如数据库表有 100 条数据，按照主键 ID升序存储。假设每 20条分成一片，那么这个 List 的大小就是 5，然后每个 InputSplit 记录两个参数，第一个为这个分片的起始 ID，第二个为这个分片数据的大小，这里是 20。很明显 InputSplit 并没有真正存储数据。只是提供了一个如何将数据分片的方法（2）RecordReaderK,V createR