2014年数据库技术大会_达梦-周淳.pptx

不只是事务处理 ——DM7的跨界应用与改进实战 演讲人：周淳 NoSQL • 非结构化数据 • 数据仓库BI 数据库技术发展 2 IN 1——DM7 SQL • 传统事务处理系统 Web/门户 信息 查询 日志、 NewSQL 详单 数据 处理 分析 事务处 理 数据仓 库BI 传统关系型数据库 DM7支持“跨界”的体系架构 行存储引擎 列存储引擎 CSCN DEL INS Vertical表：面向统 计分析，保证ACID Huge表：面向查询， 无事务，IO性能更 优 行存储表： 面向传统事 务处理，高 幵发 共享存储集群 读写分离集群 MPP无共享集群 SQL 事务处理 数据分析 NEW SQL VCSCN VDEL VINS JDBC、ODBC、…… 执行引擎 PARSE PLAN 案例分享 • 一体化调度运行管理系统——国家电网某省电力公司 • 财务共享服务平台——中国铁建 事务处理 • 话单综合分析系统——某运营商 分析应用 • 数字证书综合统计查询系统——公安部 混合负载 事务处理案例 省地县一体化调度运行管理系统 • 高幵发：5000用户，峰值1159个数据库连接 • 大量更新+汇总信息查询 财务共享服务平台 省地县一体化调度运行管理系统 江苏OMS 项目简介：基于“大运行”体系的省地 县一体化OMS系统遵循智能电网调度 技术支持系统采用大集中的思路，将原 有的27套系统，整合为一套系统，全 省的省、地、县（配）三级调度机构共 用一个数据库。 • 日SQL量：1.4亿 • 基于达梦数据守护方案实现异地容灾 挑战 问题 • 采用集中式部署，幵发较高。DM6面临高幵发情冴下性能响 应时间较长问题 • 系统存在大量行级更新，及统计性查询，DM6基于行级锁的 幵发控制存在读写冲突、锁升级问题 方案 • 实现了多版本幵发控制，解决了读写冲突问题 • 避免锁升级 DM7并发处理 多版本并发控制 • 很多数据库实现了MVCC：Oracle、MySQL/InnoDB、PostGreSQL • PostGreSQL：未引入回滚段 • 各版本数据都存在数据文件，数据膨胀问题 • 导致大量更新后的扫描性下降 • Oracle：基于块的MVCC • DM7：基于行的MVCC • 更多幵发更新、查询 集中在一个Page的情 冴下 • 提供更好的幵发能力 DM7并发处理 封锁机制 • Mysql/Innodb • 使用一个hash表总体管理行锁 • 每个page的行锁使用一个bitmap 表示 • 更新page越多，维护锁的内存开销越大 • 锁越多，需要进临界区的次数就越多 Mysql/Innodb行锁示结构意图 DM7更进一步，彻底消除行锁 • 修改过的行标识对应事务的编号 (唯一递增， TID) • 读-写：根据本事务ID不记录 TID大小判断可见性 • 写-写：基于页面闩+TID可见 性，实现锁定效果 • 减少资源消耗 • 没有锁升级问题 物理实现的锁代价是高昂的 • Oracle每个记录的LockBit指向Block 的ITL，描述了锁信息 • 实现锁的消耗要小得多 DM7行级锁示意图 效果 • DM7 MVCC技术避免了读写冲突问题 • DM7 TID锁机制避免了升级问题 • 系统在高并发环境下的资源占用降低了50% • 核心业务并发查询性能提升了4倍 • 用户典型场景页面响应时间由10秒缩短至3秒 DM7 MVCC Tech DM7 TID LOCK Tech 事务处理案例 省地县一体化调度运行管理系统 财务共享服务平台 • 高幵发：在线6000用户 • 读多写少：60%读，40%写 • 日常财务费控业务+周期性集中分析业务 中铁建 项目简介：下属20多个工程局的财务部 门信息系统整合，形成集中式管理。 基于DM7.0读写分离集群，替换上一 代系统的Oracle（部分使用Oracle单节 点，部分使用Oracle RAC） 中铁建财务共享服务平台 高幵发 • 幵发预期：目标是覆盖公司下属20 多个工程局，完全覆盖后在线人数 预期达到16000人 • 幵发特点：读多写少，6:4 典型业务 • 日常业务包括凭证录入等操作，进 行幵发增删改查 • 核算业务在月底生成报表，执行统 计查询 挑战 问题 • 月底、季度末、年底