Hadoop实战-初级部分之HadoopIO.docVIP

Hadoop实战-初级部分 之 Hadoop IO 整体课程概览 第一部分：开始云计算之旅 第二部分：初识Hadoop 第三部分：Hadoop 环境安装部署 第四部分：Hadoop Shell 基本操作介绍 第五部分：Hadoop 分布式文件系统1 第五部分：Hadoop 分布式文件系统2 第五部分：Hadoop 分布式文件系统3 第六部分：MapReduce 开发1 第六部分：MapReduce 开发2 第七部分：Hadoop集群的安装 第一部分：数据完整性 数据完整性及其采用的技术 保证数据在传输过程中不损坏 ，常见的保证数据完整性采用的技术 A.奇偶校验技术 B.ECC校验纠错技术 C.CRC-32循环冗余校验技术 ? ? ? ? ??HDFS以透明方式校验所有写入它的数据，并在默认设置下，会在读取数据时验证校验和。针对数据的每个io.bytes.per.checksum(默认512字节)字节，都会创建一个单独的校验和。 ???????????? 数据节点负责在存储数据及其校验和之前验证它们收到的数据。 从客户端和其它数据节点复制过来的数据。客户端写入数据并且将它发送到一个数据节点管线中，在管线的最后一个数据节点验证校验和。 ????????????? 客户端读取数据节点上的数据时，会验证校验和，将其与数据节点上存储的校验和进行对比。每个数据节点维护一个连续的校验和验证日志，因此它知道每个数据块最后验证的时间。每个数据节点还会在后台线程运行一个DataBlockScanner（数据块检测程序），定期验证存储在数据节点上的所有块，为了防止物理存储介质中位衰减锁造成的数据损坏。 ??????? ??HDFS通过复制完整的副本来产生一个新的，无错的副本来“治愈”哪些出错的数据块。工作方式：如果客户端读取数据块时检测到错误，抛出Checksum Exception前报告该坏块以及它试图从名称节点中药读取的数据节点。名称节点将这个块标记为损坏的，不会直接复制给客户端或复制该副本到另一个数据 节点。它会从其他副本复制一个新的副本。 本地文件系统 ? ? ? ? ? ??Hadoop的本地文件系统执行客户端校验。意味着，在写一个名filename的文件时，文件系统的客户端以透明的方式创建一个隐藏.filename.crc。在同一个文件夹下，包含每个文件块的校验和。??????? ? ???????? 数据块大小由io.bytes.per.checksum属性控制，块的大小作为元数据存储在.crc文件中。也可能禁用校验和：底层文件系统原生支持校验和。这里通过 RawLocalFileSystem来替代LocalFileSystem完成。要在一个应用中全局使用，只需要设置fs.file.impl值为 org.apache.hadoop.fs.RawLocalFileSystem来重新map执行文件的URL。或者只想对某些读取禁用校验和校验。例子： Configuration conf = ... FileSystem fs = new RawLocalFileSystem(); fs.initialize(null, conf)； ChecksumFileSystem LocalFileSystem使用ChecksumFileSystem(校验和文件系统)为自己工作，这个类可以很容易添加校验和功能到其他文件系统中。因为ChecksumFileSystem也包含于文件系统中。 第二部分：压缩 编码/解码器：用以执行压缩解压算法。 ? ?DEFLATE?? press.DefaultCodec ?gzip?? press.GzipCodec ?bzip2? press.Bzip2Codec ?LZO? pression.lzo.LzopCodec ?CompressionCodec 对流进行进行压缩与解压缩 ?CompressionCodecFactory 方法来推断CompressionCodec Hadoop支持的压缩形式 压缩格式 工具 算法 ??文件扩展名 ??多文件 可分割性 ?DEFLATE ?无 ?DEFLATE ?.deflate ?不 ?不 ?gzip ?gzip ?DEFLATE ?.gz ?不 ?不 ?bzip2 ?bzip2 ?bzip2 ?.bz2 ?不 ?是 ?LZO ?lzop ?LZO ?.lzo ?不 ?不 ? ?属性名: ????? pression.codecs ????? 默认值： press.DefaultCodec,press.GzipCodec,org.apache.hadoop.io.ompress.Bzip2Cod