GreenPlum经验介绍技术总结.docx

GreenPlum经验分享??????一．介绍??? Greenplum数据引擎是为新一代数据仓库和大规模分析处理而建立的软件解决方案。其最大的特点是不需要高端的硬件支持仍然可以支撑大规模的高性能数据仓库和商业智能查询。在数据仓库、商业智能的应用上，尤其海量数据的处理方面性能极其优异。???? 二．配置要求与环境设置???? 2.1 Greenplum数据引擎的基本架构??? Greenplum数据引擎由Master主机和Segment主机组成，如下图所示：??? Segment主机负责存储和存取用户数据，根据用户数据量可以达到几十台。根据Segment主机CPU的内核数量，数据的存储和存取又分为和内核数量相等的若干Segment。Segment主机之间，以及与Master主机之间通信，通过千兆Ethernet组成的InterConnect连接，同一Segment主机上通信端口被分配给不同的Segment，Segment使用分配的通信子网与其它Segment主机进行通信。???? 2.2硬件配置要求??? Greenplum配置，要求至少有如下配置：??? 具体到Master主机和Segment主机的配置可以参考Dell，H3C的配置，如下：??? 1.Segment:?Dell R710 ：??? 32G Memory???? 2*4 core???? 2*136G Hard Disk??? 2*1 Gb Nic card??? 2.Master Host: Dell R710 ：??? 32G Memory?????2*4 core???? 2*136G Hard Disk??? 2*1 Gb Nic card????3. MD1120?：配置300*24 2.5英寸硬盘??? 4. 千兆网网络交换机1 台?????2.3 ?系统安装与初始化??? 2.3.1安装前准备???? 1)在/etc/sysctl.conf 文件中加入有关共享内存与网络参数配置???? kernel.shmmax = 500000000???? kernel.shmmni = 4096???? kernel.shmall = 4000000000???? kernel.sem = 250 64000 100 512???? net.ipv4.tcp_tw_recycle=1???? net.ipv4.tcp_max_syn_backlog=4096???? dev_max_backlog=10000???? vm.overcommit_memory=2???? 2)在/etc/security/limits.conf 中加入限制参数???? * soft nofile 65536???? * hard nofile 65536???? * soft nproc 131072???? * hard nproc 131072???? 3)创建一个包括所有segment机器名的hosts文件:???? seg_hosts与包括master与segment的机器名的hosts文件放在/home/gpadmin/下面。???? 2.3.2Master主机上的安装配置???? 1安装???? 1-到greenplum网站下载安装文件，根据服务器与操作系统的类弄选相应的安装包???? 下载网址：/download.php(注：要求注册后方可下载)。???? 2-???? 2-解压安装包：?unzip greenplum-db--SuSE10-x86_64.zip生greenplum-db--SuSE10-x86_64.bin文件???? 3-运行安转包：?/bin/bash?greenplum-db--SuSE10-x86_64.bin??? 2）配置???? 1-创建greenplum用户：?????? ?# useradd gpadmin??????? # passwd gpadmin??????? # New password: gpadmin_password??????? # Retype new password: gpadmin_password?????? 2-创建greenplum组:??????? # groupadd gpadmin??????? # chown –R gpadmin:gpadmin gpadmin??? 3-创建greenplum_db软键接目录:??ln -s? /usr/local/ greenplum-db-????? ? /usr/local/greenplum-db???? 4-改变greenplum安转目录的owner??????? # chown -R gpadmin:gpadmin? /usr/local