Greenplum大数据时代高性能的数据仓库与BI应用平台.docxVIP

Greenplum——大数据时代高性能的数据仓库与BI应用平台一. Greenplum简介大数据是个炙手可热的词，各行各业都在谈。一谈到大数据，好多人认为就是Hadoop。实际上Hadoop只是大数据若干处理方案中的一个。现在的SQL、NoSQL、NewSQL、Hadoop等等，都能在不同层面或不同应用上处理大数据的某些问题。而Greenplum数据库作为一个分布式大规模并行处理数据库（MPP），在大多数情况下，更适合做大数据的存储引擎、计算引擎和分析引擎。Greenplum作为企业级数据库产品，可以说是世界上最先进的OLAP开源数据库之一。Greenplum是由数个独立的数据库服务组合成的逻辑数据库，简单的说就是一个与ORACLE、 DB2一样面向对象的关系型数据库集群，我们可以通过标准的SQL可以对GP中的数据进行访问存取。2015年10月，Pivotal宣布Greenplum正式开源。Greenplum为大数据存储、计算、挖掘而设计，拥有丰富的特性：第一，完善的标准支持：Greenplum完全支持ANSI SQL 2008标准和SQL OLAP 2003 扩展；从应用编程接口上讲，它支持ODBC和JDBC。完善的标准支持使得系统开发、维护和管理都大为方便。而现在的 NoSQL，NewSQL和Hadoop 对 SQL 的支持都不完善，不同的系统需要单独开发和管理，且移植性不好。第二，支持分布式事务，支持ACID。保证数据的强一致性。第三，作为分布式数据库，拥有良好的线性扩展能力。在国内外用户生产环境中，具有上百个物理节点的Greenplum集群都有很多案例。第四，Greenplum有很多合作伙伴，有完善的生态系统，可以与很多企业级产品集成，譬如SAS、Cognos、Informatic、Tableau等；也可以很多种开源软件集成，譬如Pentaho、Talend 等。二. Greenplum架构数据库构架设计中主要有Shared Everthting、Shared Nothing、Shared Disk：数据库架构类型Shared Everthting:局限于单一服务器（通常是价格比较昂贵的SMP服务器），完全透明共享CPU、Memory和I/O，典型的代表SQLServer。并行处理能力是最差的，其扩展性和性能受到相应的限制。Shared Disk：各个处理单元使用自己的私有 CPU和Memory，共享磁盘系统。典型的代表Oracle?Rac， 它是数据共享，可通过增加节点来提高并行处理的能力，扩展能力较好，类似于SMP（对称多处理）模式。这种架构需要通过一个狭窄的数据管道将所有I/O信息过滤到昂贵的共享磁盘子系统。但是当存储器接口达到饱和的时候，增加节点并不能获得更高的性能?。Shared Nothing：各个处理单元都有自己私有的CPU/内存/硬盘等，不存在共享资源，类似于MPP（大规模并行处理）模式，它是把某个表从物理存储上被水平分割，并分配给多台服务器（或多个实例），每台服务器可以独立工作，各处理单元之间通过协议通信。并行处理和扩展能力更好，只需增加服务器数就可以增加处理能力和容量。典型代表DB2 DPF和Hadoop?，各节点相互独立，各自处理自己的数据，处理后的结果可能向上层汇总或在节点间流转。Greenplum是基于软件的海量数据并行操作的“完全不共享”的MPP架构，将实际的数据存储设备分成一个个区段服务器上的小存储单元，每个单元都有一个连接本地磁盘的专用独立的、高带宽通道。区段服务器可以通过完全并行的方式处理每个查询，同时使用所有磁盘连接，并按照查询计划的要求在各区段间实现高效数据流动。Greenplum基于这种架构可以帮助客户创建数据仓库（Greenplum从开始设计的时候就被定义成数据仓库），充分利用低成本的商用服务器、存储和联网设备，通过经济的方式升级到千万亿字节的系统，并且在处理OLAP、BI（商务智能）、数据分析和数据挖掘等任务时性能远远超过了通用数据库系统。Greenplum架构Greenplum的组件分成三个部分：MasterSevers、SegmentSevers和MasterSevers与SegmentSevers之间的高效互联技术Interconnect。其中Master和Segment本身就是独立的数据库Sever。Master负责建立与客户端的连接和管理，进行SQL的解析并形成执行计划生成并拆分执行计划；把执行计划分配给Segment的节点，收集Segment的执行结果并返回给最终应用；Master不存储业务数据，只存储数据字典，不负责运算，因此不会成为系统性能的瓶颈。这也是Greenplum与传统MPP架构数据库的一个重要区别。 Segment负责业务数据的存储和存取，并根据得到