分析型数据库标准发展与行业观察.pptx

标准化的意义1—一种公认的刻度 标准化的意义2—一个合适的门槛 产业点滴 分布式分析型数据库国内相关产品已经达到30余款 数据库公司、IT服务公司、云公司、大数据公司均推出相关产品 研发模式囊括基于开源二次开发、商业收购、自研等形式的产品 各产品性能的新闻稿都是“客观存在的某种第一” 门槛有没有？放在哪？怎么摆？划多高？ 标准参与单位： 中国信息通信研究院 华为技术有限公司 北京百度网讯科技有限公司 腾讯云计算有限公司 阿里云计算有限公司 电信云计算有限公司 联合网络通讯有限公司 中移（苏州）软件技术有限公司 天津南大通用数据技术有限公司 星环信息科技（上海）有限公司 中兴通讯股份有限公司 15 标准编制工作1—基础能力标准 分布式分析型数据库基 础能力评测标准 ，已正 式成为行业标准 《大数据 分布式分析型数据库技术要求与测试方 法》 ——YD/T 1213-2016 TPC-DS SQL 混合负载 压力测试 稳定性测试 I/O密集型任务 加载 2小时持续时间 12小时持续时间 CPU密集型 插入 复杂查询负载 复杂查询负载 报表任务 精确查询 CPU达到80% CPU达到60% 分析型任务 复杂查询 交互式查询 组件 配置 台数 CPU 2*英特尔至强 E5-2620 v3 2.4GHz,15M 缓存 32 内存 8*16GB RDIMM, 2133 MT/s 32 硬盘 10*1.2TB 10K RPM SAS 6Gbps 2.5英寸 热插拔硬盘 22 10*1.2TB 10K RPM SAS 12Gbps 2.5英寸 热插拔硬盘 10 网卡 单口万兆网卡 32 交换机 锐捷RG-S6220-48XS4QXS 万兆交换机 1 分布式分析型数据库性能专项认证包括SQL任务、 混合 负载、 压力测试和稳定性测试四类任务。 混合负载以及SQL测试覆盖30TB数据规模 混合负载测试覆盖四种类型负载同时发生 测试环境 ： 32服务器节点 = 22 * 戴尔 + 10 * 联想 内外两套网 全时服务 = 千兆外网 + 万兆内网 = 7 * 24小时不停机 标准编制工作2—性能衡量标准 公司名称 产品名称 测试类型 天津神舟通用数据技术有限公司 天津南大通用数据技术股份有限公司 中移（苏州） 软件技术有限公司 贵州易鲸捷信息技术有限公司 北京酷克数据科技有限公司 百度网讯科技有限公司 杭州数梦工场科技有限公司 广州巨杉软件开发有限公司 星环信息科技（上海） 有限公司 北京国双科技有限公司 腾讯云计算（北京） 有限责任公司 新华三技术有限公司 华为技术有限公司 南威软件股份有限公司 神通数据库管理系统 GBase 8a MPP Cluster 中移软件分布式混合型并行关系型数据库系统软件 易鲸捷数据库管理系统[简称： EsgynDB] HashData数据仓库 百度数据仓库Doris V3.4 数梦工场大规模分析型数据库[DThink ADB] SequoiaDB巨杉数据库 星环分布式闪存数据库软件（TranswarpArgoDB） 国双并行数据仓库系统[简称： Gridsum ZETA PDW] TBase H3C DataEngine MPP GuassDB 200 天河大数据基础平台 基础能力 基础能力/性能 基础能力/性能 基础能力 基础能力 基础能力 基础能力 基础能力 基础能力/性能 基础能力/性能 基础能力 基础能力/性能（大规模） 基础能力（大规模） 基础能力 标准落地工作1—基于标准测试产品 各大项测试结果统计 公司 完成总数 功能 运维 兼容性 安全性 容灾性 扩展性 A 47 16 15 3 6 3 4 B 46 16 15 3 5 3 4 C 42 15 13 2 6 3 3 D 39 17 10 2 5 3 2 E 32 16 7 1 4 2 2 真理： 是骡子是马拉出来溜溜 标准落地工作2：识别产品 • 开源的恩赐：分析型数据库发展加快，部分原因是Greenplum的 开源，据统计参与评测的14款MPP数据库中43%都是基于 Greemplum，14%基于PostgreSQL。 • 规模的突破：分布式分析数据库正在努力突破扩展性的限制，大 规模部署能力有很大突破。阿里巴巴完成1900节点的委托测试， 华为完成了512节点基础能力的标准测试，华三完成了200节点性 能的标准测试。 • 永远的SQL：分布式分析型正在重新回暖，一部分原因是Hadoop 的逐渐衰落和学习成本太大，一部分原因是人们对于SQL的依赖 根深蒂固。 • 等待全能战士：分布式分析型数据库能力目前没有能够完全满足 标准的。 标准落地工作3：观察产