课件03安装greenplum1基于分布式平台大数据解决方案.pdfVIP

基于Greenplum Hadoop 分布式平台的大数据解决方案 安装Greenplum(1) Greenplum Hadoop 讲师：迪伦 （北风网 ) 课程目标 ➢ 评估 能力 ➢ 实验环境 ➢ 系统设置 （所有节点） 评估 能力 计算可用的空间 步骤1：初始 能力=硬盘大小*硬盘数 步骤2：配置RAID10，格式化磁盘空间=(初始 能力*0.9)/2 步骤3：可用磁盘空间=格式化磁盘空间*0.7 步骤4 ：用户数据使用空间 使用镜像：(2*用户数据)+用户数据/3=可用磁盘空间 不使用镜像：用户数据+用户数据/3=可用磁盘空间 计算用户数据大小 平均来说，实际占用磁盘空间大小=用户数据*1.4 页面开销：32KB页面需要20 bytes 行开销：每行24 bytes，append-only表需要4bytes 索引开销： B-tree:唯一值*(数据类型大小+24 bytes) Bitmap:(唯一值*行数*1bit*压缩比率/8)+(唯一值*32) 评估 能力 为元数据和日志计算空间需求 系统元数据：20M 预写日志(WAL)：WAL被拆分成多个64M的文件，WAL文件数 最多为 2*checkpoint_segments+1，checkpoint_segments默认值为8 。 也就意味着每个实例需要1088MB的WAL空间 GP数据库日志文件：日志轮转 性能 数据 实验环境 硬件环境 VMware虚拟机软件8.0 三台Linux虚拟机：Red Hat Enterprise Linux Server release 5.2 数据库：greenplum-db-4.2.2.4-build-1-CE-RHEL5-i386 虚拟机配置 节点 IP 内存 硬盘 mdw 192.168.136.101 400M 8G sdw1 192.168.136.102 400M 8G sdw2 192.168.136.103 400M 8G 系统设置 （所有节点） 系统参数 共享内存 网络 用户限制 修改或添加/etc/sysctl.conf xfs_mount_options = rw,noatime,inode64,allocsize=16m kernel.shmmax = kernel.shmmni = 4096 kernel.shmall = kernel.sem = 250 512000 100 2048 kernel.sysrq = 1 kernel.core_uses_pid = 1 kerne gmnb = 65536 kerne gmax = 65536 kerne gmni = 2048 net.ipv4.tcp_syn s = 1 net.ipv4.ip_forward = 0 net.ipv4.conf.default.accept_source_route = 0 net.ipv4.tcp_tw_recycle = 1 net.ipv4.tcp_max_syn_backlog = 4096 net.ipv4.conf.all.arp_filter = 1 net.ipv4.ip_local_port_range = 1025 65535 net.cor dev_max_backlog = 10000 mit_memory = 2 欢迎