Hadoop大数据处理技术基础与实践第五章 Hadoop I_O 操作.pptVIP

第5章 第5章 第5章 第5章 第5章 第5章 Hadoop IO操作 第5章 * 了解什么是数据完整性 掌握基本的基于文件的数据结构 了解常用的压缩算法 理解序列化基本原理 学习目标 第5章 * * 参考书 第5章 * * ? 由于每个磁盘或者网络上的I/O操作可能会对正在读写的数据不慎引入错误，如果通过的数据流量非常大，数据发生损坏的几率很高。 ??? 检查损坏数据的常用方法是在第一次进入系统时计算数据的校验和，然后只要数据不是在一个可靠的通道上传输，就可能会发生损坏。如果新生成的校验和不完全匹配原始的校验和，那么数据就会被认为是损坏的。 ??? 一个常用的错误检测代码是CRC-32(cyclic redundancy check,循环冗余检查)，计算一个32位的任何大小输入的整数校验和。 HDFS数据完整性 第5章 * * HDFS的数据完整性 第5章 * * HDFS以透明方式校验所有写入它的数据，并在默认设置下，会在读取数据时验证校验和。针对数据的每个io.bytes.per.checksum(默认512字节)字节，都会创建一个单独的校验和。 数据节点负责在存储数据及其校验和之前验证它们收到的数据。 从客户端和其它数据节点复制过来的数据。客户端写入数据并且将它发送到一个数据节点管线中，在管线的最后一个数据节点验证校验和。 HDFS的数据完整性 第5章 * * 客户端读取数据节点上的数据时，会验证校验和，将其与数据节点上存储的校验和进行对比。每个数据节点维护一个连续的校验和验证日志，因此它知道每个数据块最后验证的时间。 每个数据节点还会在后台线程运行一个DataBlockScanner（数据块检测程序），定期验证存储在数据节点上的所有块，为了防止物理存储介质中位衰减锁造成的数据损坏 HDFS的数据完整性 第5章 * * HDFS通过复制完整的副本来产生一个新的，无错的副本来“治愈”哪些出错的数据块。工作方式：如果客户端读取数据块时检测到错误，抛出Checksum Exception前报告该坏块以及它试图从名称节点中药读取的数据节点。名称节点将这个块标记为损坏的，不会直接复制给客户端或复制该副本到另一个数据节点。它会从其他副本复制一个新的副本。 本地文件系统 第5章 * * 也可能禁用校验和：底层文件系统原生支持校验和。这里通过RawLocalFileSystem来替代LocalFileSystem完成。要在一个应用中全局使用，只需要设置fs.file.impl值为org.apache.hadoop.fs.RawLocalFileSystem来重新map执行文件的URL。或者只想对某些读取禁用校验和校验。 ??? Configuration conf = ... ??? FileSystem fs = new RawLocalFileSystem(); ??? fs.initialize(null, conf); ChecksumFileSystem 第5章 * * LocalFileSystem使用ChecksumFileSystem(校验和文件系统)为自己工作，这个类可以很容易添加校验和功能到其他文件系统中。因为ChecksumFileSystem也包含于文件系统中。 ?? FileSystem rawFs = ...? ???FileSystem checksummedFs = new ChecksumFileSystem(rawFs); Hadoop的HDFS和MapReduce子框架主要是针对大数据文件来设计的，在小文件的处理上不但效率低下，而且十分消耗内存资源。解决办法通常是选择一个容器，将这些小文件包装起来，将整个文件作为一条记录，可以获得更高效率的存储和处理，避免了多次打开关闭流耗费计算资源。HDFS提供了两种类型的容器，分别是SequenceFile和MapFile。 基于文件的数据结构 第5章 * * SequenceFile存储 SequenceFile的存储类似于日志文件，所不同的是日志文件的每条记录都是纯文本数据，而SequenceFile的每条记录是可序列化、可持久化的键值数据结构。SequenceFile提供相应的读写器和排序器，写操作根据压缩的类型分为3种。 （1）Writer：无压缩写数据。 （2）RecordCompressWriter：记录级压缩文件，只压缩值。 （3）BlockCompressWrite：块级压缩文件，键值采用独立压缩方式。 读取操作实际上可以读取上述3种类型。 第5章 * * SequenceFile存储 在存储结构上，SequenceFile主要由一个Header后跟多条Record组成，如图所示。 第5章 * * SequenceFile存储