《Hive数据仓库案例教程》教学课件 第8章 Hive数据压缩.pptxVIP

第8章 Hive数据压缩;章内分节 ;8.1 数据压缩格式;压缩格式评价;压缩格式对比;Hive表存储格式与压缩相结合;Hive表存储格式与压缩相结合;8.2.1 Snappy压缩方式配置;Snappy压缩方式配置;Snappy压缩方式配置;8.2.2 MapReduce支持的压缩编码;8.2.3 MapReduce压缩格式参数配置;8.2.3 MapReduce压缩格式参数配置;8.3 Map输出压缩开启;例如： （1）开启Hive中间传输数据压缩功能 hive(hivedwh)set ermediate=true; （2）开启MapReduce中Map输出压缩功能 hive(hivedwh)set press=true; （3）设置MapReduce中Map输出数据的Snappy压缩方式 hive(hivedwh)set press.codec= press.SnappyCodec; （4）执行查询语句 hive(hivedwh)select count(ename) name from emp;;8.4 Reduce输出压缩开启;8.4 Reduce输出压缩开启;8.5 常用Hive表存储格式比较;8.5.1 存储文件的压缩比测试;3．SequenceFile格式 （1）创建表，存储数据格式为SequenceFile hive(hivedwh)create table seq_user( userid string, view int, click int) row format delimited fields terminated by \t stored as SequenceFile; （2）向表中加载数据 hive(hivedwh)insert into table seq_user select * from text_user; （3）查看表中数据大小 hive(hivedwh)dfs -du -h /user/hive/warehouse/hivedwh.db/seq_user; 57.8 M /user/hive/warehouse/hivedwh.db/seq_user/000000_0;4．ORC格式 （1）创建表，存储数据格式为ORC hive(hivedwh)create table orc_user( userid string, view int, click int) row format delimited fields terminated by \t stored as orc; （2）向表中加载数据 hive(hivedwh)insert into table orc_user select * from text_user; （3）查看表中数据大小 hive(hivedwh)dfs -du -h /user/hive/warehouse/hivedwh.db/orc_user; 17.3 M /user/hive/warehouse/hivedwh.db/orc_user/000000_0;5．Parquet格式 （1）创建表，存储数据格式为Parquet hive(hivedwh)create table par_user ( userid string, view int, click int) row format delimited fields terminated by \t stored as parquet; （2）向表中加载数据 hive(hivedwh)insert into table par_user select * from text_user; （3）查看表中数据大小 hive(hivedwh)dfs -du -h /user/hive/warehouse/hivedwh.db/par_user; 35.1 M /user/hive/warehouse/hivedwh.db/par_user/000000_0;6．几种常见的Hive表存储格式的压缩比测试总结 经过测试，将数据汇总如表8-4。压缩比计算公式为 压缩比=（原始数据-压缩后数据）/原始数据 计算结果详见表8-4。 表8-4 几种常见的Hive表存储格式的压缩比测试结果;1．TextFile格式 hive(hivedwh)select count(*) count_text from text_user; OK count_text 2139109 Time taken: 22.089 seconds, Fetched: 1 row(s) 2．SequenceFile格式 hive(hivedwh)select count(*) count_seq from