05-第五章HadoopI_O操作讲述.ppt

Writable的java基本类封装 Java基本类型????????????????????????? Writable使用????????????????????? 序列化大小(字节) ?? 布尔类型????????????????????????????????BooleanWritable??????????????1 ???字节型?????????????????????????????????? ByteWritable????????????????????1 ?? 整型?????????????????????????????????????IntWritable?????????????????????? 4 ??可变整型????????????????????? ???VIntWritable?????????? ????1-5 ?? 浮点行?????????????????????????????????? FloatWitable??????????????????? 4 ???长整型?????????????????????????????????? LongWritable??????????????????? 8 ??可变长整型????????????????????????VLongWritable?????????????????? 1-9 ?? 双精度浮点型?????????????????????????? DoubleWritable?????????????? 8 第2章 * * writable类层次结构图 第2章 * * 第5章 第5章 第5章 第5章 第5章 第5章 Hadoop IO操作 第5章 * 了解什么是数据完整性 掌握基本的基于文件的数据结构 了解常用的压缩算法 理解序列化基本原理 学习目标 第5章 * * 参考书 第5章 * * ? 由于每个磁盘或者网络上的I/O操作可能会对正在读写的数据不慎引入错误，如果通过的数据流量非常大，数据发生损坏的几率很高。 ??? 检查损坏数据的常用方法是在第一次进入系统时计算数据的校验和，然后只要数据不是在一个可靠的通道上传输，就可能会发生损坏。如果新生成的校验和不完全匹配原始的校验和，那么数据就会被认为是损坏的。 ??? 一个常用的错误检测代码是CRC-32(cyclic redundancy check,循环冗余检查)，计算一个32位的任何大小输入的整数校验和。 HDFS数据完整性 第5章 * * HDFS的数据完整性 第5章 * * HDFS以透明方式校验所有写入它的数据，并在默认设置下，会在读取数据时验证校验和。针对数据的每个io.bytes.per.checksum(默认512字节)字节，都会创建一个单独的校验和。 数据节点负责在存储数据及其校验和之前验证它们收到的数据。 从客户端和其它数据节点复制过来的数据。客户端写入数据并且将它发送到一个数据节点管线中，在管线的最后一个数据节点验证校验和。 HDFS的数据完整性 第5章 * * 客户端读取数据节点上的数据时，会验证校验和，将其与数据节点上存储的校验和进行对比。每个数据节点维护一个连续的校验和验证日志，因此它知道每个数据块最后验证的时间。 每个数据节点还会在后台线程运行一个DataBlockScanner（数据块检测程序），定期验证存储在数据节点上的所有块，为了防止物理存储介质中位衰减锁造成的数据损坏 HDFS的数据完整性 第5章 * * HDFS通过复制完整的副本来产生一个新的，无错的副本来“治愈”哪些出错的数据块。工作方式：如果客户端读取数据块时检测到错误，抛出Checksum Exception前报告该坏块以及它试图从名称节点中药读取的数据节点。名称节点将这个块标记为损坏的，不会直接复制给客户端或复制该副本到另一个数据节点。它会从其他副本复制一个新的副本。 本地文件系统 第5章 * * 也可能禁用校验和：底层文件系统原生支持校验和。这里通过RawLocalFileSystem来替代LocalFileSystem完成。要在一个应用中全局使用，只需要设置fs.file.impl值为org.apache.hadoop.fs.RawLocalFileSystem来重新map执行文件的URL。或者只想对某些读取禁用校验和校验。 ??? Configuration conf = ... ??? FileSystem fs = new RawLocalFileSystem(); ??? fs.initialize(null, conf); ChecksumFileSystem 第5章 * * LocalFileSystem使用ChecksumFileSystem