DM针对大数据量环境下分析型应用的支持方案v..docVIP

DM针对大数据量环境下分析型应用的支持方案v2.0 DTCC2011DTCC2011 大纲 ??一个实际案例 ??挑战和解决方案 ??下一步工作规划 DTCC2011DTCC2011 一个实际案例 DTCC2011DTCC2011 案例简介 ?? 海量数据 ?? 基于已有硬件投资 – 单服务器节点 – 操作库和分析库合并 ?? 以查询分析为主，兼顾少量数据维护 DTCC2011DTCC2011 硬件与拓扑 数据汇总 文本 数据 源 文本 数据 源 文本 数据 源 Excel 数据 源 数据清洗与入 库 4G B 光 线 通 道 数据库 服务器 应用服务 器 P550 Cpu x 4 Mem 32GB P550 Cpu x 4 Mem 32GB 16 X 1TB SAS RAID 5 千兆交换机 DTCC2011DTCC2011 案例简介-数据 ?? 以常规数据为主，主要为数值、字符串、 时间类型 ?? 日增长数据量为约56G，3亿条元组 ?? 当前数据量3TB ?? 最大单表为计费表，目前约150亿条记录 ?? 数据保存20年后归档为历史数据 ?? 在线数据规模将超过400TB DTCC2011DTCC2011 典型业务流程 – 源数据清洗入库 – 分析统计型查询 ?? 第一步过滤的筛选条件不确定 ?? 试错式的查询分析过程，成功后固化，一般包含20多个步骤 ?? 大规模的连接查询、子查询、联合查询、数据分组与排序、临 时结果集与临时表等 ?? 复杂SQL不多，但IO非常大 – 日常数据维护 ?? 手工修改记录内容 ?? 批量删除 ?? 定期维护 DTCC2011DTCC2011 案例需求 ?? 关键在查询性能 – 第一个过滤步骤 ??筛选字段由用户随机定义，因此无法使用索引 ??一般会得到千万级别的结果集 – 大量的多表连接查询 ?? 数据装载性能 ?? 初始入库48亿条，近1T：限48小时，相当于3万条/s ?? 后续每3天入库一次，9亿条，168G，限10小时内完成 DTCC2011DTCC2011 挑战-核心是性能 DTCC2011DTCC2011 原有产品难以支持分析型应用 ?? 只支持行式存储 ?? 查询优化器比较简陋 ?? 虚拟机实现不尽合理 ?? 物理存储设计有待优化 ?? 日志系统过于复杂 ?? 不能充分利用多机资源提升性能 ?? 数据分片技术不完善 于2009年开始新一代产品DM7的研制 DTCC2011DTCC2011 DM系统研制历程 DM1-DM3 1988- 2003 DM4 2004 DM5.6 2007 2009 DM7 2011 1 2 3 5 4 DM6 实验室原型 技术积累阶段 实现各类标准 稳定性及功能 与开源系 统有差距 对DM4-DM6的技 术总结 融合列存储与行 存储 基于向量数据的 执行内核 原生的MVCC OLAP应用的支 持 持续的技术积累 5.6引入物理操作符,虚拟机 6.0引入高级特性和oracle 兼容特性 DTCC2011DTCC2011 对于性能的理解 优化器 数据/控制权 传递 应用系统的 设计 表达式计算 I/O效率 并发/并行 综合性能 DTCC2011DTCC2011 数据控制权传递-批量技术 – 向量数据处理 – 在数据泵一次传送一批数据 – 减少控制转移的CPU损耗； – 有利于批量的表达式计算 DTCC2011DTCC2011 传统的数据传递 一次只传递一条记录 每个操作符一次只处理一 行记录 控制权需要反复传递 PROJECT FILTER SCAN 1 1 1 … DTCC2011DTCC2011 向量式的数据传递 减少控制权限的反复传递 提升CPU的有效利用率 便于表达式批量计算 PROJECT FILTER SCAN 1 1 … 2 2 … … … … N N … DTCC2011DTCC2011 批量技术-数据入库 – 将系统的初始数据入库 – 原有BCP接口达到5000条/s，仍无法满足要求 – 改进： ?? 在服务器端实现批量，减少执行流程中的控制跳转 ?? 效率提升８倍 DTCC2011DTCC2011 批量技术-全表更新 普通批量 绑定 计划生成 单趟扫描一个ID进行 更新，执行20万次 针对大表更 新的特定的 批量绑定消 息 生成特定计 划，减少执 行流程 ID进行排序，单趟扫描20 万个ID并进行更新 性能提升100倍以上