架构优化案例二之降IO负载.ppt

深入浅出Hive企业级优化 Hive优化策略 架构层面（高效，全局或局部） · 分表 · 合理利用中间结果集，重视查过就丢的资源浪费，Hadoop的IO负载瓶颈 · 常用复杂或低效统计统一给出，以避免上层作业过多计算 · 合理设计表分区，静态分区和动态分区 HQL语法层面（中低效，Job内） 执行计划 Hive参数层面（全局） 太暴力，很少用，有时会起到好效果。 分表 日志表trackinfo 2亿数据量 有5千个作业按天访问 邮件营销EDM、网盟Unoin 剥离之后，edm_unoin_track 只有5个作业按天访问 Trackinfo 将至1.5亿 架构优化 案例剖析一：合理利用中间结果集（单Job） Hadoop的负载主要是： CPU负载和I/O负载 压缩技术降低IO负载，但是加重了CPU负载 随着Job增多，IO资源通常是最大的瓶颈，文件读写方式造成固有 最忌讳的代码：查了就丢 90%是按天执行，每天执行一次 5% 按小时执行，每小时执行一次 Cloudera Hadoop４系列课程 ４.５.２版本及以上对集群规模无上限现在，不再有50台上限 架构优化案例二 ——共享中间结果集（大量作业） 场景： 很多Job用到案例一中的中间结果集 重量级优化项目：作业“亲缘”关系，多作业用共用输入或输出 如：每日几千个作业访问大表日志表trackinfo； 访问多个表的相同统计存在于很多作业里面； …… 多个部门作业，跨部门 有了瓶颈才需要优化？ IO 对中间结果压缩 欢迎访问我们的官方网站