CPIC-Greenplum 调优汇总.docx

中国太平洋保险Greenplum数据库调优总结易安信电脑系统（中国）有限公司2013年03月20日文档信息项目名称：Greenplum调优报告文档版本号：1.0文档作者：龙国荣生成日期：2013/03/20文档审核者：审核日期：文档维护记录版本号维护日期作者/维护人描述1.02013/03/20龙国荣创建版权说明本文件中出现的任何文字叙述、文档格式、插图、照片、方法、过程等内容，除另有特别注明，版权均属EMC公司所有，受到有关产权及版权法保护。任何个人、机构未经EMC公司的书面授权许可，不得复制、引用或传播本文件的任何片断，无论通过电子形式或非电子形式。目录第一章调优需求4第二章调优时间安排5第三章调优过程63.1Greenplum执行计划分析63.1.1在不同时期执行计划比较73.1.2差异原因分析93.1.3调优原则103.2分布健选择策略103.2.1调优前效率103.2.2调优后效率103.2.3调优SQL103.2.4效率分析123.2.5调优方案153.2.6调优原则153.3索引、主健约束163.3.1调优前效率163.3.2调优后效率163.3.3调优SQL163.3.4效率分析163.3.5调优方案163.3.6调优原则173.4分区表规划173.4.1调优前效率173.4.2调优后效率173.4.3调优SQL173.4.4效率分析193.4.5调优方案193.4.6调优原则203.5关联查询效率优化203.5.1调优SQL203.5.2效率分析213.5.3调优方案223.5.4调优原则23第四章后续优化建议244.1硬件问题244.2磁盘空间回收244.3分布健调整254.4分区表建立25调优需求中国太保EDW平台部分新应用上线后，出现系统性能下降和部分function执行缓慢，需要对系统进行检查和调优。环境现状如下：2+12的GP集群环境，已保存28TB的生产数据，基本上没有使用压缩表和分区表。生产情况：在有2-3个任务并行的情况下，数据库相应非常缓慢，部分function在晚上有并发的时候执行，会很慢，但在白天单任务执行的时候会快很多。调优时间安排本次调优从2月18号进场开始，分成三个阶段，每阶段现场服务、调优一周。第一阶段：2月18号2月22号，调优过程中发现GP环境中129节点磁盘读写性能很差，同一RAID卡上一个数据目录读写性能只有100+MB/S，另一磁盘目录有300+MB/S。经查是磁盘柜头硬件故障，21号晚更换硬件后，129节点的磁盘读写性能都能达到900MB/S左右。第二阶段：3月4号3月8号，针对MIS应用进行调优，发现几类共性的问题。第三阶段：3月18号3月22号，临时性的问题解决处理，调优问题总结和培训。调优过程本次现场服务，除了解决129节点的硬件问题外，还解决了寿险、产险等MIS模块的一些典型的SQL效率问题，具体如下：Greenplum执行计划分析explainselect '200905', coalesce(A.book_set_id,' '), coalesce(b.book_type,' '),-- 12月份数据book_type有三种状态：“1”，调整2 “2”用一月份的期初数当12月份的期末数（因为期初数与期末数不平）“3”调整前 coalesce(B.branch_company_code,' '), coalesce(B.cur_code,' '), coalesce(b.main_product_code,' '), coalesce(A.index_id,' '), coalesce(a.INDEX_NAME,' '), coalesce(a.F_INDEX_ID,' '), coalesce(a.INDEX_LEVEL,' '), sum( B.PERIOD_NET_CR+B.BEGIN_BALANCE_CR-B.PERIOD_NET_DR-B.BEGIN_BALANCE_DR) --本期借款 +期初借款-本期贷款-期初贷款 from T_FACT_FIN_AL_CONFIG A LEFT JOIN f_bb_fin_account_balances_mid B ON b.index_id between A.BEGIN_SUBJECT and A.END_SUBJECT WHERE a.index_level = 4 and b.date_stamp = '200905' AND A.BOOK_SET_ID=B.book_set_id GROUP