[HiC2011]一种支持实时复杂查询与分(王树鹏).pdfVIP

一种支持实时复杂查询和分 析的NoSQL 系统 王树鹏 中国科学院计算技术研究所 题 纲  系统需求与现有方案  技术方案  应用案例 系统需求概述  数据及系统特点  结构化：每条记录包含10个字段左右，每条记录的大小大约是几 百字节  数据量巨大：达到千亿级以上，达到PB 级  加载速度快：达到百万条/s的规模  系统规模：可以扩展到上千个节点 系统需求概述  对数据的访问需求  提供SQL访问接口  支持大规模结果集：达到千万条规模  支持按多列的实时查询（秒级）  支持多列之间的逻辑比较关系，例如AND 、OR、NOT 等  支持多列之间的的算术比较关系，例如=、、等  支持统计、聚合、分组、排序等操作（秒级）  ORDER BY ASC (DESC) ，GROUP BY, TOP, LIMIT  SUM ，COUNT ，AVG ，MAX ，MIN  数据不更新，但需要对数据批量删除 现有方案(1)— 关系数据库  关系型数据库都主要 完全共享 共享磁盘 SMP服务器 关注了CA ，即一致 Oracle RAC 性和可用性 网络 DB  性能、可扩展性上都 DB DB DB DB 比较差 SAN/FC  无法满足可扩展性和 磁盘 性能的要求 SAN/共享磁盘 单机数据库结构 Oracle RAC 现有方案(2)— 关系数据库集群  数据分片(sharding)或者功能分 区 完全不共享  将数据按照不同的策略进行划 Master 分：功能、字段值范围、 网络 HASH 等 DB DB DB DB  优点：能够有效的解决可扩展 性的问题 磁盘 磁盘 磁盘 磁盘  缺点：shard 的扩容比较复杂 ；联合多个shard 的表数据查 Parallel DBMS 询复杂。 现有方案(3)-NoSQL 方案  NoSQL （非关系型）  NoSQL ≠No SQL ，而是No Relationship ，Not Only SQL  系统特点  可