数据库GreenPlum 集群环境配置与搭建精要.docxVIP

GreenPlum集群环境搭建 1、简介 环境搭建准备：greenplum- 1.1 greenplum介绍 简单的说它就是一个与ORACLE, DB2一样面向对象的关系型数据库。我们通过标准的SQL可以对GP中的数据进行访问存取。GREENPLUM与其它普通的关系型数据库的区别？ 本质上讲GREENPLUM是一个关系型数据库集群. 它实际上是由数个独立的数据库服务组合成的逻辑数据库。与RAC不同，这种数据库集群采取的是MPP架构。如下图所示 它的组件分成三个部分MASTER/SEGMENT以及MASTER与SEGMENT之间的高效互联技术GNET。其中MASTER和SEGMENT本身就是独立的数据库SERVER。不同之处在于，MASTER只负责应用的连接，生成并拆分执行计划，把执行计划分配给SEGMENT节点，以及返回最终结果给应用，它只存储一些数据库的元数据，不负责运算，因此不会成为系统性能的瓶颈。这也是GREENPLUM与传统MPP架构数据库的一个重要区别。 SEGMENT节点存储用户的业务数据，???根据得到执行计划，负责处理业务数据。也就是用户关系表的数据会打散分布到每个SEGMENGT节点。当进行数据访问时，首先所有SEGMENT并行处理与自己有关的数据，如果需要segment可以通过进行innterconnect进行彼此的数据交互。 segment节点越多，数据就会打的越散，处理速度就越快。因此与SHARE ALL数据库集群不同，通过增加SEGMENT节点服务器的数量，GREENPLUM的性能会成线性增长。 GREENPLUM适用场景？ GREENPLUM虽然是关系型数据库产品，它的特点主要就是查询速度快，数据装载速度快，批量DML处理快。而且性能可以随着硬件的添加，呈线性增加，拥有非常良好的可扩展性。因此，它主要适用于面向分析的应用。比如构建企业级ODS/EDW，或者数据集市等等。 GREENPLUM运行的平台？ GREENPLUM运行在X86架构的硬件平台上，目前支持的操作系统包括32/64位的 LINUX(REDHAT/SUSE)/SOLARIS/MAC OS GREENPLUM的前景？ GREENPLUM 诞生于2003年硅谷，2010/07 EMC收购了GREENPLUM，并把GREENPLUM作为EMC面向分析云的战略核心产品，加以大力发展。该产品不仅在国际市场发展很快，在国内市场发展也很快。最著名的案例就是阿里巴巴集团，经过多种产品的精心选型，最终选择GREENPLUM作为它们的数据仓库平台存放数百TB的业务数据去高效支持各种分析应用。 如何学习GREENPLUM？ 正是由于产品发展速度很快，但是在相关人才上存在很大缺口。因此，我个人认为对于各位有兴趣的技术人员来说，是一个很好的职业发展机会。以个人经验来说，只要有其它关系型数据库的基础，尤其是POSTGRESQL或者INFORMIX基础的(因为GREENPLUM是在POSTGRESQL基础上开发出来的)，很容就可以上手学习并掌握GREENPLUM。 GREENPLUM的手册写的非常好，完全可以作为入门的教材使用。其软件本身也是软性LICENSE，用于学习研究完全免费，而且与生产环境并无不同，这与ORACLE完全一样。  2、GreenPlum的HA GP提供了几个选择性的功能来保证最大正常运行时间和高可用。 包括: 1. Segment Mirroring --segment镜像 2. Master Mirroring --master镜像 3. Fault Detection Recovery --错误检测和恢复 -----Segment Mirroring------ Primary Segment和Mirror Segment放在不同主机上。 在数据库操作过程中，只有primary segment是活跃的，mirror仅仅做复制处理(file block replication process) Segment挂了后系统操作流程: 1. 当segment挂了，文件复制进程停止，mirror segment自动的成为活跃的segment instance. 所有数据库操作则继续使用mirror。 2. 此时记录事务的模式发生改变，系统状态为 Change Tracking 模式。 3. 当管理员把失败segment重新启动后，恢复进程将把2个之间的差异数据同步。 此时系统状态为 Resynchronizing 模式 4. 一旦所有的mirror和primary都再次同步完成，系统状态将变更为 Synchronized 模式。 ------Master Mirroring------ 你可以选择性的部署额外一台机器