MPP大数据库对比解析总结计划报告总结计划.docxVIP

实用标准 概述 随着海量数据问题的出现，海量管理能力，多类型，变化快，高可用性，低成本，高端 可扩展性等需求给企业数据战略带来了巨大的挑战。 企业数据仓库、 数据中心的技术选型变 得尤其重要！所以在选型之前，有必要对目前市场上各种大数据量的解决方案进行分析。 主流分布式并行处理数据库产品介绍 2.1 Greenplum 2.1.1 基础架构 Greenplum 是基于 Hadoop 的一款分布式数据库产品， 在处理海量数据方面相比传统 数据库有着较大的优势。 Greenplum 整体架构如下图： SQL SQL ... MapReduc MapReduc Master Severs ... ... 查询解析、优化、分发 Network Interconnect Segment Severs ... ... 查询处 理、数 据存储 External Sources 数据加 载 数据库由 Master Severs 和 Segment Severs 通过 Interconnect 互联组成。 文档 实用标准 Master 主机负责：建立与客户端的连接和管理； SQL 的解析并形成执行计划；执行计 划向 Segment 的分发收集 Segment 的执行结果； Master 不存储业务数据，只存储数据 字典。 Segment 主机负责：业务数据的存储和存取；用户查询 SQL 的执行。 2.1.2 主要特性 Greenplum 整体有如下技术特点： Shared-nothing 架构 海量数据库采用最易于扩展的 Shared-nothing 架构，每个节点都有自己的操作系统、 数据库、硬件资源，节点之间通过网络来通信。 基于 gNet Software Interconnect 数据库的内部通信通过基于超级计算的 “软件 Switch ”内部连接层， 基于通用的 gNet (GigE ， 10GigE) NICs/switches 在节点间传递消息和数据， 采用高扩展协议， 支持扩展到 1000 个以上节点。 并行加载技术 利用并行数据流引擎，数据加载完全并行，加载数据可达到 4。 5T/ 小时（理想配置） 。 并且可以直接通过 SQL 语句对外部表进行操作 支持行、列压缩存储技术 海量数据库支持 ZLIB 和 QUICKLZ 方式的压缩，压缩比可到 10 ： 1。压缩数据不一定 会带来性能的下降，压缩表通过利用空闲的 CPU 资源，而减少 I/O 资源占用。 海量数据库除支持主流的行存储模式外， 还支持列存储模式。 如果常用的查询只取表中 少量字段，则列模式效率更高，如查询需要取表中的大量字段，行模式效率更高。 海量数据库的多种压缩存储技术在提高数据存储能力的同时， 也可根据不同应用需求提 文档 实用标准 高查询的效率 2.1.3 主要局限 列存储模式的使用有限制，不支持 delete/update 操作。 用户不可灵活控制事务的提交， 用户提交的处理将被自动视作整体事务， 整体提交， 整体回滚。 数据库需要额外的空间清理维护（ vacuum ），给数据库维护带来额外的工作量。 用户不能灵活分配或控制服务器资源。 对磁盘 IO 有比较高的要求。 备份机制还不完善，没有增量备份。 2.2 Vertica 2.2.1 基础架构 与 以 往 常 见 的 行 式 关 系 型 数 据 库 不 同 ， Vertica 是 一 种 基 于 列 存 储 （Column-Oriented ）的数据库体系结构，这种存储机构更适合在数据仓库存储和商业智 能方面发挥特长。 常见的 RDBMS 都是面向行（ Row-Oriented Database ）存储的，在对某一列汇总计 算的时候几乎不可避免的要进行额外的 I/O 寻址扫描，而面向列存储的数据库能够连续进 行 I/O 操作，减少了 I/O 开销，从而达到数量级上的性能提升。 同时， Vertica 支持海量并行存储（ MPP ）架构，实现了完全无共享，因此扩展容易， 可以利用廉价的硬件来获取高的性能，具有很高的性价比。 如下图，展示的是单节点上的 Vertica 的基本体系结构。 文档 实用标准 Vertica 体系结构 作为关系型数据库， Vertica 的查询 SQL 也是在前端被解析和优化的。但与传统的关 系型数据库有所不同， Vertica 内部是混合存储的，包括两种不同的存储结构：写优化器 （WOS ）和读优化器（ ROS ）。 (1) 写优化器 WOS （Write-Optimized Store ） 是位于主存储器上的一个数据结构， 用于有效的支持数据插入和更新操作； 数据的存放 是无序的，非压缩的。 (2) 读优化器 ROS（ Read-Optimized