二零二三年 优质公开课Hadoop数据压缩.pptx

Hadoop数据压缩-概述压缩技术能够有效减少底层存储系统（HDFS） 读写字节数。压缩提高了网络带宽和磁盘空间的效率。在 Hadoop 下，尤其是数据规模很大和工作负载密集的情况下，使用数据压缩显得非常重要。在这种情况下， I/O 操作和网络数据传输要花大量的时间。还有，Shuffle与 Merge 过程同样也面临着巨大的 I/O 压力。鉴于磁盘 I/O 和网络带宽是 Hadoop 的宝贵资源，数据压缩对于节省资源、最小化磁盘I/O 和网络传输非常有帮助。不过， 尽管压缩与解压操作的 CPU 开销不高，其性能的提升和资源的节省并非没有代价。如果磁盘 I/O 和网络带宽影响了 MapReduce 作业性能，在任意 MapReduce 阶段启用压缩都可以改善端到端处理时间并减少 I/O 和网络流量。MR支持的压缩编码MR支持的压缩编码为了支持多种压缩/解压缩算法，Hadoop引入了编码/解码器，如下表所示。压缩性能比较压缩方式选择1 Gzip 压缩优点：压缩率比较高，而且压缩/解压速度也比较快； hadoop 本身支持，在应用中处理gzip 格式的文件就和直接处理文本一样；大部分 linux 系统都自带 gzip 命令，使用方便。缺点：不支持 split。应用场景： 当每个文件压缩之后在 130M 以内的（1 个块大小内），都可以考虑用 gzip压缩格式。 例如说一天或者一个小时的日志压缩成一个 gzip 文件，运行 mapreduce 程序的时候通过多个 gzip 文件达到并发。 hive 程序， streaming 程序，和 java 写的 mapreduce 程序完全和文本处理一样，压缩之后原来的程序不需要做任何修改。2 Bzip2 压缩优点：支持 split；具有很高的压缩率，比 gzip 压缩率都高； hadoop 本身支持，但不支持 native；在 linux 系统下自带 bzip2 命令，使用方便。缺点：压缩/解压速度慢；不支持 native。应用场景： 适合对速度要求不高，但需要较高的压缩率的时候，可以作为 mapreduce 作业的输出格式； 或者输出之后的数据比较大，处理之后的数据需要压缩存档减少磁盘空间并且以后数据用得比较少的情况；或者对单个很大的文本文件想压缩减少存储空间，同时又需要支持 split，而且兼容之前的应用程序（即应用程序不需要修改）的情况。压缩方式选择3 Lzo 压缩优点：压缩/解压速度也比较快，合理的压缩率；支持 split，是 hadoop 中最流行的压缩格式；可以在 linux 系统下安装 lzop 命令，使用方便。缺点：压缩率比 gzip 要低一些； hadoop 本身不支持，需要安装；在应用中对 lzo 格式的文件需要做一些特殊处理（为了支持 split 需要建索引，还需要指定 inputformat 为 lzo 格式）。应用场景： 一个很大的文本文件，压缩之后还大于 200M 以上的可以考虑，而且单个文件越大， lzo 优点越越明显。4 Snappy 压缩 优点：高速压缩速度和合理的压缩率。缺点：不支持 split；压缩率比 gzip 要低； hadoop 本身不支持，需要安装；应用场景： 当 Mapreduce 作业的 Map 输出的数据比较大的时候，作为 Map 到 Reduce的中间数据的压缩格式；或者作为一个 Mapreduce 作业的输出和另外一个 Mapreduce 作业的输入。压缩位置选择压缩可以在MapReduce 作用的任意阶段启用。压缩参数配置参数默认值阶段建议pression.codecs （在core-site.xml中配置）press.DefaultCodec, press.GzipCodec, press.BZip2Codec输入压缩Hadoop使用文件扩展名判断是否支持某种编解码器press（在mapred-site.xml中配置）falsemapper输出这个参数设为true启用压缩press.codec（在mapred-site.xml中配置）press.DefaultCodecmapper输出企业多使用LZO或Snappy编解码器在此阶段压缩数据press（在mapred-site.xml中配置）falsereducer输出这个参数设为true启用压缩press.codec（在mapred-site.xml中配置）press. DefaultCodecreducer输出使用标准工具或者编解码器，如gzip和press.type（在mapred-site.xml中配置）RECORDreducer输出SequenceFile输出使用的压缩类型：NONE和BLOCK