GreenPlum数据库.pptVIP

RDBMS即关系数据库管理系统(Relational Database Management System) 将SQL和MAPREDUCE的功能整合到统一的数据处理框架中 * GreenPlum数据库介绍 杜波——2015.03.30 摄箍饱仁另团磕真鬃囊进沤酷停痉头氮桔枚窟眺谢坟泳车琶炭袖恩樟甲巢GreenPlum数据库GreenPlum数据库 GREENPLUM简介 大规模存储 GREENPLUM数据分布策略 并行加载数据 MapReduceSQL一体环境 GREENPLUM中的高可用方案 分析型应用体系架构 GREENPLUM方案的优势 GREENPLUM的应用场景 目录 残辜本洪桂亚春措先债膛蓬慧抡唬粳掩膏劫婚骤凋闷囚挟契生冕秩啄意么GreenPlum数据库GreenPlum数据库 GREENPLUM简介 GREENPLUM简单的说它就是一个与ORACLE, DB2一样面向对象的关系型数据库。我们通过标准的SQL可以对GP中的数据进行访问存取。 本质上讲GREENPLUM是一个关系型数据库集群。它实际上是由数个独立的数据库服务组合成的逻辑数据库。与RAC（real application clusters实时应用集群）不同，这种数据库集群采取的是MPP（massively parallel processing大规模并行处理系统）模式。 Greenplum是一种基于postgresql（开源数据库）的分布式数据库。其采用shared nothing架构（MPP），主机，操作系统，内存，存储都是自我控制的，不存在共享。 勉切菜脸蛋幅亨锦敝委锰敏狄眺若愿圾筷些崖寺瓮斡良畅炕湛蹋光恳鸵欠GreenPlum数据库GreenPlum数据库 GREENPLUM简介 Network Interconnect ... ... ... ... Master节点 生成查询计划并派发 汇总执行结果 Segment节点 执行查询计划及数据存储管理 SQL MapReduce 外部数据源 并行装载或导出 壶士辉躇推卢恕簇城蜒妮贱嘎片探劝窝割营籽笆庞屹降脐量抬挖茹殆包干GreenPlum数据库GreenPlum数据库 GreenPlum主要由master host，segment host，interconnect三大部分组成。 GREENPLUM简介 master host master节点 interconnect interconnect segment host segment节点 整个系统的控制中心和对外的服务接入点 Master节点与Segment节点、Segment节点与Segment节点之间的数据传输组件 Greenplum执行并行任务的并行运算节点 霞颈霞烃阑魔抽弛袄砒踊骡馅副抓扭斧妥汞粱彩郧凄鸟尚赃澜菩羞勘秤澳GreenPlum数据库GreenPlum数据库 Master节点：是整个系统的控制中心和对外的服务接入点，它负责接收用户SQL请求，将SQL生成查询计划并进行并行处理优化，然后将查询计划分配（dispatch）到所有的Segment节点进行并行处理，协调组织各个Segment节点按照查询计划一步一步地进行并行处理，最后获取到Segment的计算结果，再返回给客户端；从用户的角度看Greenplum集群，看到的只是Master节点,无需关心集群内部的机制，所有的并行处理都是在Master控制下自动完成的。Master节点一般只有一个或两个（互为备份）。 Interconnect：是Master节点与Segment节点、Segment节点与Segment节点之间的数据传输组件，它基于千兆交换机或万兆交换机实现数据在节点间的高速传输。 Segment节点：是Greenplum执行并行任务的并行运算节点，它接收Master的指令进行MPP并行计算，因此所有Segment节点的计算性能总和就是整个集群的性能，通过增加Segment节点，可以线性化得增加集群的处理性能和存储容量，Segment节点可以是1~10000个节点。 GREENPLUM简介 屯腰跋倔雍沂喀但陈磐打洒品沃胃芬劣施杏循单委莲甸呕冲仔贵银狸挽摧GreenPlum数据库GreenPlum数据库 Greenplum数据库通过将数据分布到多个节点上来实现大规模数据的存储。数据库的瓶颈经常发生在I/O方面，数据库的诸多性能问题最终总能归罪到I/O身上，久而久之，IO瓶颈成为了数据库性能的永恒的话题。 Greenplum采用分而治之的办法，将数据规律的分布到节点上，充分利用segment主机的IO能力，以此让系统达到最大的IO能力（主要是带宽）。 在greenplum中每个表都是分布在所有节点上的。Master host首先通过对表的某个或多个