MPP数据库对比总结.docVIP

MPP数据库对比总结 MPP数据库对比总结 PAGE / NUMPAGES MPP数据库对比总结 概括 跟着海量数据问题的出现，海量管理能力，多种类，变化快，高可用性，低成本，高端 可扩展性等需求给公司数据战略带来了巨大的挑战。 公司数据库房、 数据中心的技术选型变得特别重要！所以在选型以前，有必需对当前市场上各样大数据量的解决方案进行剖析。 主流散布式并行办理数据库产品介绍 2.1 Greenplum 2.1.1 基础架构 Greenplum 是鉴于 Hadoop 的一款散布式数据库产品，在办理海量数据方面对比传统数 据库有着较大的优势。 Greenplum 整体架构以下列图： SQL SQL ... MapReduc MapReduc Master Severs ... ... 查问分析、优化、散发 Network Interconnect Segment Severs ... ... 查问处 理、数 据储存 External Sources 数据加 载 数据库由 Master Severs 和 Segment Severs经过 Interconnect 互联构成。 Master 主机负责：成立与客户端的连结和管理； SQL 的分析并形成履行计划；履行计 划向 Segment 的散发采集 Segment 的履行结果； Master 不储存业务数据，只储存数据词典。 Segment 主机负责：业务数据的储存和存取；用户查问 SQL 的履行。 2.1.2 主要特征 Greenplum 整体有以下技术特色： Shared-nothing 架构 海量数据库采纳最易于扩展的 Shared-nothing 架构，每个节点都有自己的操作系统、数 据库、硬件资源，节点之间经过网络来通讯。 鉴于 gNet Software Interconnect 数据库的内部通讯经过鉴于超级计算的 “软件 Switch ”内部连结层，鉴于通用的 gNet (GigE ， 10GigE) NICs/switches 在节点间传达信息和数据， 采纳高扩展协议， 支持扩展到 1000 个以上节点。 并行加载技术 利用并行数据流引擎，数据加载完好并行，加载数据可达到 4。 5T/小时（理想配置） 。 而且能够直接经过 SQL 语句对外面表进行操作 支持行、列压缩储存技术 海量数据库支持  ZLIB  和  QUICKLZ  方式的压缩，压缩比可到  10： 1。压缩数据不必定 会带来性能的降落，压缩表经过利用安闲的  CPU  资源，而减少  I/O  资源占用。 海量数据库除支持主流的行储存模式外， 还支持列储存模式。 假如常用的查问只取表中 少许字段，则列模式效率更高，如查问需要取表中的大批字段，行模式效率更高。 海量数据库的多种压缩储存技术在提高数据储存能力的同时， 也可依据不一样应用需求提 高查问的效率 2.1.3 主要限制 列储存模式的使用有限制，不支持  delete/update 操作。 用户不行灵巧控制事务的提交，  用户提交的办理将被自动视作整体事务，  整体提交， 整体回滚。 数据库需要额外的空间清理保护（  vacuum），给数据库保护带来额外的工作量。 用户不可以灵巧分派或控制服务器资源。 对磁盘 IO 有比较高的要求。 备份体制还不完美，没有增量备份。 2.2 Vertica 2.2.1 基础架构 与以平时有的行式关系型数据库不一样， Vertica 是一种鉴于列储存（ Column-Oriented ） 的数据库系统构造，这类储存机构更合适在数据库房储存和商业智能方面发挥专长。 常有的 RDBMS 都是面向行（ Row-Oriented Database ）储存的，在对某一列汇总计算的 时候几乎不行防止的要进行额外的 I/O 寻址扫描， 而面向列储存的数据库能够连续进行 I/O 操作，减少了 I/O 开支，进而达到数目级上的性能提高。 同时， Vertica 支持海量并行储存（ MPP ）架构，实现了完好无共享，所以扩展简单， 能够利用低价的硬件来获取高的性能，拥有很高的性价比。 以下列图，展现的是单节点上的 Vertica 的基本系统构造。 Vertica 系统构造 作为关系型数据库， Vertica 的查问 SQL 也是在前端被分析和优化的。 但与传统的关系型数据库有所不一样， Vertica 内部是混淆储存的， 包含两种不一样的储存构造： 写优化器（ WOS）和读优化器（ ROS）。 (1) 写优化器 WOS （ Write-Optimized Store ） 是位于主储存器上的一个数据构造， 用于有效的支持数据插入和更新操作； 数据的寄存 是无序的，非压缩的。 读优化器 ROS